Mistral Large 4 登上 Hugging Face：約 1T 總參數、49B 啟用參數

發生什麼事

Hugging Face 在 10 月 29 日的部落格介紹 Mistral Large 4（暱稱 Le Chonk）。官方說明它是 Mistral 的多模態、多語言 Mixture-of-Experts（MoE，每個 token 只啟用一小組專家子網路的架構）模型，輸入文字與圖片、輸出文字，約 1T 總參數、49B 啟用參數，context window（一次能處理的上下文長度）為 1M tokens。 官方原文・Hugging Face Blog

Transformers（Hugging Face 的開源模型函式庫）的 v5.22.0 版本也在 10 月 29 日新增這個模型。release notes 寫明，模型為 1 trillion-parameter，每 token 49 billion active parameters（含 embeddings 與輸出層為 52 billion），在 Mistral 位於歐洲的自有資料中心，以 3,800 NVIDIA Grace Blackwell GPUs（NVIDIA 的資料中心 GPU 平台）從頭訓練。 官方原文・Transformers Releases

Dell Enterprise Hub（Hugging Face 為 Dell 伺服器提供的模型部署目錄）在 10 月 28 日的公告中，把 FP8 與 NVFP4 兩個版本加入目錄；NVFP4 是 NVIDIA 的 4 位元浮點格式。該頁寫的總參數為 1.05T，每 token 啟用 49B（含 embeddings 與輸出層為 52B）。 官方原文・dell.huggingface.co

授權為 Mistral Ecosystem Open-Weight License，是 MIT 授權的修改版，商業與非商業使用皆可。若授權對象或其關係企業經營 Model as a Service（讓第三方透過 API 等方式存取模型）業務，商業使用前須另與 Mistral 簽商業授權；僅供內部使用，或透過 Mistral 官方產品存取模型，不適用這項要求。 官方原文・huggingface.co 官方原文・Transformers Releases

Hugging Face 部落格寫明，模型有 day-0 support（發布當天即支援）涵蓋 transformers、vLLM（開源的推論伺服器軟體）與 llama.cpp（可在本機執行模型的開源推論程式）。GGUF（llama.cpp 使用的模型檔格式）由 Unsloth 與 llama.cpp 團隊製作。llama.cpp 團隊提供的量化版本（把模型權重壓成較低位元以縮小體積的版本）有 IQ2_XXS、Q2_K、Q4_K_M、NVFP4、Q8_0，另有 BF16 供後續轉換使用。 官方原文・Hugging Face Blog

部落格的實測：Q2_K 在單台 M3 Ultra（Apple 的晶片）上，prefill（處理輸入提示的階段）吞吐量約 90 tokens per second（每秒處理的 token 數），生成速度 15 tok/s（tok/s 即 tokens per second，每秒生成的 token 數）。在 4 x RTX6000 Pro（NVIDIA 的專業繪圖卡）上，NVFP4 為 32K context size、prefill 130-590 t/s（t/s 同為每秒 token 數）、gen speed ~10 t/s。IQ2_XXS 為 800K context size，短 context 時 prefill 500 tok/s、生成 30 tok/s，長 context 時降到 129 tok/s（prefill）與 3 tok/s（生成）。 原文

部落格也引述基準測試：在 Artificial Analysis Cyber Index（要求模型重現開源軟體的真實漏洞再修補的測試）得 82%，Mistral 報告數個封閉前沿模型在同一測試得分接近零。Cybench（取自資安競賽的 40 題）解出 93%。部落格另寫道，截至 October 29, 2026，該模型是 Artificial Analysis Intelligence index 上排名第五的開放權重模型。 原文

誰受影響

部落格指出，開放權重模型讓使用政策與部署由使用者掌控，並提到可用於資安防禦工作。想微調的開發者可用 TRL（Hugging Face 的訓練函式庫），範例在 8xB300s 節點上跑 FP8 版本。使用 Dell AI Servers（NVIDIA H200、B200、GB200 或 GB300）的團隊，可用 dell-ai CLI（命令列工具）部署。 官方原文・Hugging Face Blog

台灣能不能用

官方原文寫模型 natively fluent in 160+ languages，包括歐盟每一種官方語言。 官方原文・Transformers Releases

限制與未定事項

部落格寫明，vLLM 支援的 NVFP4 檢查點需要 NVIDIA Blackwell GPUs。reasoning（模型先推理再回答的模式）無法關閉，設 reasoning_effort: none 仍會使用預設的 high。llama.cpp 的 2-bit quants 可在配備 512 GB unified RAM 的單台 Apple Silicon Ultra 電腦上執行，其餘量化版需分散式推論。 官方原文・Hugging Face Blog