微軟發表推論晶片 Maia 300，機櫃 token 吞吐量最高為 Maia 200 的 7 倍

發生什麼事

微軟於 10 月 12 日發表 Maia 300，定位為下一代 AI 推論平台，並計畫自 2027 年起把 Azure Maia 擴大到 multi-gigawatt（數 GW）規模的部署，Maia 300 將成為微軟產品與服務的主要 AI 推論系統。官方說明，此系統針對長上下文推理、對延遲敏感的對話體驗，以及持續進行的多步驟 agentic 任務設計。官方預期 Maia 300 每 megawatt 可多產出 40% 的 token；在微軟資料中心內以機櫃規模計算，token 吞吐量最高可達 Maia 200 的 7 倍。 官方原文・news.microsoft.com

規格細節來自媒體報導。INSIDE 指出，Maia 300 由微軟雲端與 AI 事業執行副總裁 Scott Guthrie 在官方部落格發表，採多晶粒架構，運算晶粒使用台積電 N2P 製程，單顆搭載 8 組 HBM4 堆疊、容量 288GB，峰值記憶體頻寬每秒 18.0TB，TDP 950W。整櫃配置 96 顆加速器，功耗 167kW，HBM 合計 27.6TB、總頻寬每秒 1.7PB。iThome 則整理兩代差異：Maia 200 採台積電 3 奈米製程、216GB HBM3e、頻寬約 7TB/s，Maia 300 容量增加 33%，頻寬約為前代的 2.5 倍，每櫃加速器由 48 顆增至 96 顆。 INSIDE iThome

另一件事是記憶體採購。INSIDE 引述韓國《首爾經濟日報》報導，微軟 Maia 計畫總經理 Andrew Wall 在美國時間 10 月 7 日接受該報視訊專訪時表示，HBM 供給非常吃緊，微軟重視與供應商建立信任，才能提前最多 5 年下單；微軟供應鏈團隊正與所有記憶體廠合作，為 Maia 300 及之後的路線圖確保 HBM 供應。他說：「HBM 顯然是目前整個產業的重大議題與限制。」 INSIDE

誰受影響

依官方說法，Maia 300 將支撐 GitHub 上的程式開發、Microsoft Foundry 的模型部署，以及 Copilot、Teams 與 Dragon Copilot 的互動服務。上一代 Maia 200 官方稱已為數億人使用的內建 AI 功能提供最高 1.7 倍的每瓦 token 產出。iThome 報導，Maia 200 目前用於 Microsoft Copilot 及微軟 MAI 團隊的模型開發；INSIDE 則指出 Maia 200 正陸續部署到美國、歐洲與澳洲。 官方原文・news.microsoft.com iThome INSIDE

限制與未定事項

官方對 40% 與 7 倍的數字均以「預期」表述，7 倍為機櫃規模下的「最高」值。HBM 供應商方面，Wall 表示微軟不對外揭露，僅說正與「所有主要業者」合作。INSIDE 指出，Maia 200 的 HBM3E 供應商同樣未經官方具名，韓媒引述業界人士稱由 SK 海力士獨家供應，SK 海力士當時回應不便確認客戶資訊。 官方原文・news.microsoft.com INSIDE

各方說法

官方原文在 40% 的 token 產出提升上未寫明比較對象；INSIDE 寫成比頂尖 GPU 系統多 40%，iThome 也寫成與 GPU 系統相比。iThome 另寫 Maia 300 每瓦效能達前代的 2.5 倍以上，並將 Maia 的定位比作 Google 的 TPU，認為兩家發展自研晶片是為了提高效率、控制成本並減少對 Nvidia 等外部供應商的依賴。 官方原文・news.microsoft.com INSIDE iThome

INSIDE 也整理了記憶體市場的背景。AMD 董事長暨執行長蘇姿丰 10 月 7 日在首爾與三星電子、SK 海力士會面，表示雙方需要 3 到 5 年以上的中長期夥伴關係。美光執行長 Sanjay Mehrotra 則在法說會上說，公司已就 2027 日曆年絕大部分 HBM 位元供應完成協議；美光已簽下 26 份策略客戶協議，部分延伸到 2031 年。 INSIDE

接下來要看的事

• 微軟規劃自 2027 年起將 Azure Maia 擴大到 multi-gigawatt 規模部署
• Maia 300 預計 2027 年投入正式生產環境，成為微軟產品與服務的主要推論系統
• iThome 報導 Maia 200 預計今年底前擴及 GitHub Copilot 與 Microsoft Foundry