Meta 釋出 Muse Spark Open 權重：816B 總參數、42B 啟用

發生什麼事

Meta 於 10 月 15 日釋出 Muse Spark Open 的權重（開放權重：參數可下載，仍受授權規範）。這是原生多模態的混合專家（MoE，每個 token 只啟用部分子網路）模型，輸入含文字、影像、音訊、影片，輸出為文字；總參數 816B，每個 token（模型處理文字的最小單位）啟用 42B，脈絡視窗（單次可處理的輸入長度上限）為 1M tokens，主打 agentic coding（讓模型讀程式碼庫、寫程式、除錯並呼叫工具）。 官方原文・Hugging Face Blog Hacker News 首頁

每個 MoE 層有 256 個 experts（可被選用的前饋子網路），每個 token 選 8 個，Hugging Face 指出部署需要 816B 參數的記憶體。checkpoint（權重檔）有 BF16（16 位元浮點）與 NVFP4（NVIDIA 的 4 位元浮點）兩種，BF16 約 1.5 TB。 官方原文・Hugging Face Blog

發布當日可用的 API 平台（雲端代管推論服務）有 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter、Together AI；權重可從 Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face、Microsoft Foundry Models（雲端或模型平台）下載。 Hacker News 首頁

Meta 稱模型針對兩台 Apple M5 Ultra Mac Studio（Apple 的桌機，搭載 M5 Ultra 晶片）搭配最新 MLX（Apple 為自家晶片開發的機器學習框架）優化；每台 M5 Ultra 的整合 GPU 最多可用 512 GB，記憶體頻寬為 1.2 TB/s。 Hacker News 首頁

llama.cpp（可在個人電腦執行模型的推論程式）的 b11671 版本（15 Oct 標記）加入 Muse Spark Open 的文字、視覺與音訊支援。 官方原文・llama.cpp Releases

mlx-lm（在 Apple 晶片上執行與微調模型的 Python 套件）有一個 pull request（程式碼變更提案，#1975），要新增 mlx_lm/models/muse_spark.py 以支援文字模型，含 tensor parallel 與 pipeline sharding（兩種跨機器切分模型的方式）及測試；頁面只顯示「This branch has not been deployed」，並未寫明是否已合併。 官方原文・github.com 官方原文・github.com

誰受影響

要部署的開發者：Amazon SageMaker JumpStart（AWS 的機器學習模型中心）提供 BF16 與 NVFP4 兩個版本，NVFP4 跑在 ml.p5e.48xlarge，BF16 跑在 ml.p6-b300.48xlarge（皆為 AWS 的多 GPU 執行個體）。想在本機跑的人：Hugging Face 在 Mac M3 Ultra（512GB，Apple 的桌機晶片）上測試 llama.cpp 的 2-bit 量化（以較少位元儲存權重）版本，速度 18 tokens/s（每秒產生的 token 數），模型占用 304 GB。 AWS ML Blog 官方原文・Hugging Face Blog

台灣能不能用

SageMaker JumpStart 發布時提供的區域為 US East (N. Virginia) 與 US East (Ohio)，其他區域需自行到 JumpStart 查詢；Meta 官方來源未列出各平台的完整地區。 AWS ML Blog Hacker News 首頁

限制與未定事項

權重以 Muse Model License（附 Muse Spark Usage Policy 的授權）釋出，Meta 稱其商用條款有限，讓許多開發者可免費使用。Hugging Face 指出無法關閉推理，reasoning effort（推理強度）分 low、medium、high、xhigh，對應整數 16、64、256、512。Meta 稱完整評估報告「available soon」。 Hacker News 首頁 AWS ML Blog 官方原文・Hugging Face Blog

各方說法

Apple ML Research 文章（經 Hacker News 收錄）把 Muse Spark Open 以 NVFP4 評測，4-bit 約 493GB，單機放不下。文章說明兩台 Mac Studio 可用 pipeline parallelization（前半層放一台、後半層放另一台）分攤，並稱四台 Mac Studio 叢集生成速度超過 36 tokens per second。兩者與 Meta 所述兩台配置，是不同配置的描述。 Hacker News 首頁 Hacker News 首頁

接下來要看的事

• Meta 稱完整評估報告「available soon」，詳細結果目前見 Muse Spark Open model card。