Meta 與 Apple 合作，Muse Spark Open 816B 在 Mac Studio 執行

發生什麼事

Meta 於 10 月 15 日釋出 Muse Spark Open（Meta 的開放權重多模態模型，開放權重指權重可下載到自己的硬體執行）的權重，並與 Apple 合作讓它在 Mac Studio（Apple 的桌上型電腦）上執行。Apple 機器學習研究團隊同日發文，以當天釋出的最新版 MLX（Apple 的開源陣列框架，用來在 Apple 自家晶片上本機執行模型），在四台 Mac Studio 的叢集上讓 Muse Spark Open 每秒產生超過 36 個 token（模型處理文字的基本單位），Apple 稱遠高於一般人的閱讀速度。 官方原文・machinelearning.apple.com TechNews 科技新報

Apple 文章列出 Muse Spark Open 總參數 816B、啟用參數 42B，屬 MoE（混合專家架構，每次推論只啟用部分專家與參數），以 NVFP4（4 位元量化格式）評測。原生 BF16（16 位元浮點格式）下，僅模型參數就需超過 1.6TB 記憶體；NVFP4 下約 493GB，加上推論的中間運算，單台 Mac Studio 放不下。單台最多 512GB 統一記憶體（CPU 與 GPU 共用的記憶體），因此需跨多台執行。 官方原文・machinelearning.apple.com

Apple 比較兩種跨機分工：pipeline parallelization（管線平行）把模型的層切成前後兩半由兩台接力，tensor parallelization（張量平行）把每一層拆到各台同時運算。機器間以 RDMA over Thunderbolt（低延遲的機器間直接通訊技術）連接，每對機器用兩條線；macOS 26.2（Apple 的電腦作業系統版本）導入 Thunderbolt 5（高速連接埠規格）上的低延遲 RDMA 驅動，MLX v0.30.1 及之後版本以此提供 jaccl（MLX 的跨機通訊集合操作）。 官方原文・machinelearning.apple.com

Apple 的生成速度表中，Muse Spark Open 在 2 台 M5 Ultra（Mac Studio 搭載的 Apple 晶片）管線平行為 15.74 tokens/second，2 台張量平行為 24.99 tokens/second，另外 4 台張量平行為 36.73 tokens/second。在 65,536 個 token 的上下文、4 台 M5 Ultra 下，兩條線把 TTFT（從送出提示到產生第一個 token 的時間）從約 50.5s（一條線）降到 40.6s。 官方原文・machinelearning.apple.com

Meta 另以 Muse Code（Meta 的 AI 程式設計終端）驅動 Muse Spark Open，測試本機代理式工作流程（由模型自行拆解步驟、操作工具）：為 Ice Cubes（開源的 Mastodon 社群平台用戶端 App）提交 iOS 端的 bug fixes、new features 與 full build；並操作 DaVinci Resolve（影片剪輯與調色軟體），檢視素材並裁成直式畫面。 TechNews 科技新報 TechCrunch AI

誰受影響

想在本機執行大模型的開發者可使用 MLX。Apple 文章示範以 mlx_lm.server（MLX 的本機模型伺服器指令）啟動伺服器，再用 OpenCode（開源的程式設計代理工具）連線。 官方原文・machinelearning.apple.com

不自行架設的開發者，TechNews 列出可透過 Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter 及 Together AI 等 API 平台（第三方提供模型呼叫服務的雲端平台）取用，權重也可從 Hugging Face（模型託管與下載平台）等下載。 TechNews 科技新報

限制與未定事項

數位時代引述 CNBC：截至 10 月 15 日，搭載 M5 Ultra 與 256GB 記憶體的 Mac Studio 單台售價至少 10,799 美元，512GB 版本預計 10 月內推出。 數位時代

Apple 文章指出，Muse Spark Open 在 65,536 個 token 的上下文下，2 台張量平行的 prefill（處理輸入提示的階段）落後於 2 台管線平行。 官方原文・machinelearning.apple.com

各方說法

Meta 稱 Muse Spark Open 為「most capable US open-weight model to date」（The Verge 的引述）。記憶體需求方面，TechCrunch 引 Engadget 稱至少需 1 terabyte 的 RAM；Apple 文章則寫 NVFP4 下約 493GB，另需推論中間運算的記憶體，並需跨多台 Mac Studio。 The Verge AI TechCrunch AI 官方原文・machinelearning.apple.com

授權說法不一：INSIDE 寫授權條款允許商業使用，數位時代寫允許有限度商用。 INSIDE 數位時代

各方說法不一致的地方

• 授權範圍：INSIDE 寫「授權條款允許商業使用」，數位時代寫「允許有限度商用」，兩者對同一授權條款的描述不同。

接下來要看的事

• Meta 表示 Muse Spark Open 未來也會透過雲端服務供應商與開發者工具提供（INSIDE）
• 搭載 M5 Ultra 與 512GB 記憶體的 Mac Studio 預計 10 月內推出（數位時代引述 CNBC）