NVIDIA 發布 120B 開放模型 Nemotron 3.5 Super VL

發生什麼事

NVIDIA 於 10 月 15 日發布 Nemotron 3.5 Super VL。這是一款參數規模 120-billion 的開放模型，鎖定長時間運作的專門代理（agent，能自主規劃並呼叫工具、完成多步驟任務的 AI 系統）。官方表示，它在指令遵循、工具使用、多步驟商務流程與視覺理解等多模態（同時處理文字與影像等不同類型資料）代理任務上，準確度與 NVIDIA 最大的推理模型相當，參數量約為後者的五分之一。官方也稱它比同級次佳的開放代理模型快 5 倍。 官方原文・NVIDIA Blog

官方說明 Super VL 是與 Nemotron Coalition 合作打造。這個聯盟是 NVIDIA 於 3 月 16 日在 GTC（NVIDIA 年度技術大會）宣布的開放模型合作組織，首批成員為 Black Forest Labs、Cursor、LangChain、Mistral AI、Perplexity、Reflection AI、Sarvam 與 Thinking Machines Lab。 官方原文・NVIDIA Blog 官方原文・nvidianews.nvidia.com

視覺能力方面，官方指出 Super VL 主要針對 OCR（光學字元辨識，從影像中讀出文字）、表格、圖表與視覺文件中的結構化資訊，可讀取網頁與 PDF（常見的文件檔案格式），擷取文字、判讀圖表並回傳結果，讓代理不必在不同系統之間轉送任務。 官方原文・NVIDIA Blog

訓練方面，Super VL 在預訓練（用大量資料讓模型學習通用能力的第一階段訓練）與持續預訓練（在預訓練之後再用額外資料延續同類訓練）中共使用約 26 trillion 個 token（模型處理文字的基本單位），之後以約 3.8 million 筆樣本進行後訓練（針對特定任務或資料進一步調整模型），並在數十個環境中進行強化學習（依據回饋獎勵調整模型行為的訓練方法）。模型隨附開放權重（公開模型訓練後的參數，可下載自行部署）、開放資料集與訓練方法。 官方原文・NVIDIA Blog 官方原文・nvidia.com

同一篇公告也推出兩款邊緣模型（設計在本機或終端裝置上執行、而非放在資料中心的模型）。Nemotron 3.5 Bolt 74B-A9B 24GB 以原生 2-bit 量化（用 2 位元表示模型參數以縮小體積）放進 24GB 記憶體，在 RTX/DGX Spark（NVIDIA 的桌上型 AI 電腦）上執行；官方稱它在 PinchBench（一項基準測試）是同級第 1 名的開放模型，在 BrowseComp（評測網頁瀏覽查找能力的基準）排第 2。Nemotron 3.5 Bolt E4B 4GB 則針對 GeForce RTX（NVIDIA 消費級顯示卡）、Jetson（NVIDIA 的邊緣運算模組）與 RTX/DGX Spark 上的語音助理、互動角色等用途。 官方原文・NVIDIA Blog

取得管道上，Super VL 已在 Hugging Face（模型與資料集分享平台）、Open Router（模型存取服務平台）、ModelScope 社群（模型分享社群平台）上架，也以 NVIDIA NIM（把模型包成可部署微服務的產品）提供，NIM 每兩週更新安全修補與效能改進。官方稱搭配 NVIDIA Dynamo（NVIDIA 的推論服務軟體），最多可服務 8 倍使用者，延遲降低 85%。硬體方面可在 DGX Spark、DGX Station（NVIDIA 工作站級 AI 電腦）、RTX PRO（NVIDIA 專業工作站顯示卡）與 RTX 系統上執行，也能在 Jetson 以及資料中心與雲端環境運作。 官方原文・NVIDIA Blog

Bolt 74B-A9B 24GB 目前已在 Hugging Face 上架，支援 llama.cpp、Ollama、LM Studio（三者皆為在本機執行模型的工具）、Unsloth（模型微調工具）與 vLLM（模型推論服務引擎），可在 GeForce RTX 電腦、DGX Spark、DGX Station 與 RTX PRO 工作站上執行。 官方原文・NVIDIA Blog

誰受影響

官方列出多家正在後訓練 Super VL 的機構：Scale AI 為 Skydance 的供應商信用融資代理與 EY 的併購盡職調查代理做後訓練；AfterQuery 為 Hebbia 客製信用協議分析；AI21 與 Alice 針對資安攻擊韌性做後訓練；Ramp 用於金融文件處理，R1 用於醫療理賠分析。客製化可透過 NVIDIA NeMo（NVIDIA 的模型客製化工具）與 Python 流程進行。 官方原文・NVIDIA Blog

整合 Super VL 的軟體平台包括 Atlassian（用於跨 Jira、Confluence 等協作軟體的代理搜尋）、CrowdStrike（客製化用於企業資安的代理藍隊作業，藍隊指資安中負責防守、偵測與回應攻擊的一方）、Perplexity（用於 Perplexity Search 與 Computer）、Salesforce、Dassault Systèmes 與 Synopsys。 官方原文・NVIDIA Blog

限制與未定事項

三款模型時程不同：Super VL 與 Bolt 74B-A9B 已推出，Bolt E4B 要到 10 月 23 日才推出。Bolt 74B-A9B 是為 10 月 16 日上市的 NVIDIA RTX Spark 筆電設計，執行時需 24GB 記憶體。Super VL 的準確度與速度數字均為 NVIDIA 自行提出的比較，準確度比較對象是 NVIDIA 最大的推理模型。 官方原文・NVIDIA Blog

各方說法

Reddit r/LocalLLaMA 使用者 jinnyjuice 的貼文標題寫出完整模型名稱 NVIDIA-Nemotron-3.5-Super-VL-120B-A12B，並列出 base（未經後訓練的基礎版本）、NVFP4（NVIDIA 的 4 位元浮點數格式）、BF16（一種 16 位元浮點數格式）與 LiLiCorr 投機解碼（先由較小模型預測後續內容、再由主模型驗證以加速生成的技術）等版本，貼文附上 Hugging Face 上 BF16 版本的連結。 Reddit r/LocalLLaMA

接下來要看的事

• Nemotron 3.5 Bolt E4B 4GB 預定 10 月 23 日推出
• NVIDIA RTX Spark 筆電預定 10 月 16 日上市，Bolt 74B-A9B 24GB 為其設計
• Nemotron Coalition 首個模型將作為即將推出的 NVIDIA Nemotron 4 家族基礎