背景
SenseNova-Loop-9B-Preview 是一款多模態語言模型,專為長上下文與代理工作流(agentic workflows,模型自主規劃並執行多步驟任務的流程)設計。該模型接受文字與圖片輸入,並生成文字輸出,適用於文件理解、程式碼撰寫以及與外部工具互動的應用場景。 Reddit r/LocalLLaMA Hugging Face 熱門模型
發生什麼事
SenseNova 發布 SenseNova-Loop-9B-Preview。這是一個預覽版本(Preview),旨在結合迴圈解碼器與雙流流形約束超連接(mHC,manifold-constrained hyper-connections,一種管理殘差流資訊流動的技術),以在不重複參數的情況下提供更深的執行路徑。 Reddit r/LocalLLaMA Hugging Face 熱門模型
重點內容
該模型的核心架構包含共享權重的迴圈區塊。解碼器先處理第 0 至 3 層,接著將第 4 至 27 層的區塊連續執行兩次,最後由第 28 至 31 層及輸出頭產生結果。這種設計使得模型在每次前向傳播中執行 56 次解碼層計算,但僅儲存 32 層不同的解碼層權重。在迴圈區塊內,雙流 mHC 透過學習到的映射來路由和組合兩個殘差流之間的資訊,並使用 Sinkhorn 正規化(一種將矩陣轉換為双随机矩陣的演算法)來約束流混合映射,文件記錄的配置使用 20 次迭代。 Reddit r/LocalLLaMA Hugging Face 熱門模型
模型採用混合注意力機制,解碼器以每四層為一組的模式,交錯排列線性注意力與全注意力層(每組包含三層線性注意力與一層全注意力)。迴圈邊界與完整的四層組對齊,確保注意力模式在兩次執行中保持一致。訓練配方涵蓋文字、圖片、程式碼與工具軌跡,最大訓練序列長度可達 262,144 tokens。 Reddit r/LocalLLaMA Hugging Face 熱門模型
在參數規模方面,模型總參數量約為 9B(90 億),推理參數量約為 14.6B。現有導出精度為 BF16 的骨幹網路與 FP32 的 mHC 路由參數。模型授權採用 Apache License 2.0,這允許使用者在遵守條款的情況下進行使用、重製與分發。 原文 官方原文・github.com
對使用者的意義
開發者可以透過 Hugging Face Transformers 庫、vLLM 或 SGLang 來部署與使用該模型。使用 Transformers 時,需設定 trust_remote_code=True 以載入模型。vLLM 與 SGLang 提供 OpenAI 相容的 API 介面,支援透過 curl 指令發送包含文字與圖片的請求。此外,模型也支援透過 Docker Model Runner 執行。 Hugging Face 熱門模型
限制與未定事項
SenseNova-Loop-9B-Preview 目前為預覽版本(Preview)。訓練腳本中的合成範例資料僅用於冒煙測試(smoke-test,基本功能驗證),並非品質基準。 Hugging Face 熱門模型 官方原文・github.com
接下來要看的事
- 第三方獨立評測結果
- 正式版本發布時間與功能差異
- 不同硬體環境下的實際推理效能數據
