IBM Granite Switch 4.1 推出 8B 與 30B，單一端點含聊天、決策與語音

發生什麼事

Hugging Face（模型託管平台）部落格發表了 Granite Switch 4.1，標題為「Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint」。模型卡說明，Granite Switch 4.1 30B 是模組化 LLM（大型語言模型），把基礎模型、多個 adapter（掛在基礎模型上的小型微調模組）與一個編碼器組合起來，讓單一託管端點能在自然語言回應、一般與專門決策、語音轉文字之間切換。模型卡列出的發布日期為 2026 年 10 月 14 日。 官方原文・Hugging Face Blog Reddit r/LocalLLaMA

部落格指出，Granite-Switch-4.1-8B 與 -30B 內含三項：新的 Decision aLoRA（用於一般決策）、Guardian aLoRA（安全相關決策用），以及嵌入的 Granite-Speech-5.0-Turbo-CTC（ASR，自動語音辨識模型，用於轉錄）。aLoRA 即 Activated LoRA，是 LoRA（在基礎模型上加掛的低秩微調權重）的一種，可重用 KV cache（模型推論時暫存先前計算結果的快取）。官方稱 Guardian aLoRA 平均在安全相關決策任務上優於 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 與 Clef-Flash（Jev 在來源中屬於封閉的決策模型，其餘為比較對象）。 官方原文・Hugging Face Blog

官方表示，這三項技術與基礎模型組成一個模型後，佔用的 VRAM（GPU 的顯示記憶體）與基礎模型單獨使用時大約相同。基礎模型生成時建立的 KV cache，可供之後的 adapter 決策重用。官方也提到團隊近期對 vLLM（開源的 LLM 推論引擎）的貢獻，用於加速低秩 adapter 推論。 官方原文・Hugging Face Blog

部落格描述了一場「Race」：Granite-Switch-4.1-30B（凍結的基礎 Granite 加 4 個專門 aLoRA）對上 Jev-27B（凍結的 Qwen 基礎模型加 1 個通用決策 LoRA），執行一個真實的 5 步驟 RAG（檢索增強生成，先查資料再回答）工作流程。官方稱 Granite-Switch-4.1-30B 完成得快得多。 官方原文・Hugging Face Blog

GitHub 專案頁則展示另一項比較：同一模型、同一硬體下，aLoRA 的 KV cache 命中率為 74%，16 個中完成 5 個；標準 LoRA 命中率為 29%，16 個中完成 1 個。專案頁說明，標準 LoRA 在流程中切換 adapter 時，要在每一步丟棄並重算 KV cache；aLoRA 則共用同一份正規化的 KV cache。 官方原文・github.com

另一個案例是 Doom（經典第一人稱射擊遊戲）。官方稱，自訂的 3B 參數 Granite Switch 模型能以每秒 60 - 100 次決策操作遊戲，Jev 自述為每秒 10 次決策（官方註腳指向 typesafe.ai 的文章）。官方並稱這個模型在遊戲過程中還能旁白並回答問題。 官方原文・Hugging Face Blog

開源專案 granite-switch（GitHub 上由 IBM Research 發起）提供組合工具。官方說明，adapter function 是針對特定輸入輸出格式訓練的 LoRA adapter，輸出格式由 Mellea（Python 的 LLM 輸出可靠化函式庫）在 token 層級強制。其 adapter function 目錄共 12 個，授權為 Apache-2.0（寬鬆的開源授權）。 官方原文・github.com

誰受影響

官方說明，任何人都可從 Granite Libraries 挑選 adapter，自行組合 Granite Switch 模型；GitHub 頁面提供預先組合好的 ibm-granite/granite-switch-4.1-3b-preview、-8b-preview 與 -30b-preview。部署端可用 vLLM 或 HuggingFace，專案頁稱同一份 checkpoint（模型權重檔）不需轉換。 官方原文・Hugging Face Blog 官方原文・github.com

限制與未定事項

GitHub 專案頁列出需求：Python 3.11+、PyTorch 2.11+；[vllm] 選項接受 vLLM 0.26.x 到 0.30.x，下限為 transformers>=5.16，且皆需 PyTorch 2.11+（CUDA 13+）。模型卡寫明嵌入的語音轉文字模型為 ibm-granite/granite-speech-5.0-470m-turboctc（470M 參數，English）。官方表示計畫釋出用於在 Mellea 訓練 adapter 的 Adapter SDK，並預告未來數週會公布更多 Granite Switch 細節與資料。 官方原文・github.com Reddit r/LocalLLaMA 官方原文・Hugging Face Blog

各方說法

Reddit r/LocalLLaMA 的貼文轉貼模型卡，列出 30B 版有 2 個 adapter：decision 與 guardian-core；部落格賽跑案例則寫 Granite-Switch-4.1-30B 搭配 4 個專門 aLoRA。兩者的對應關係來源未說明。該貼文作者另表示認為 llama.cpp（可在本機執行模型的開源推論程式）的支援尚未就緒，並附上 pull request 連結；這是社群貼文的看法，非官方說明。 Reddit r/LocalLLaMA 官方原文・Hugging Face Blog

接下來要看的事

• 官方計畫釋出用於在 Mellea 訓練 adapter 的 Adapter SDK
• 官方計畫推出教學資源與 Granite Switch 相關支援
• 官方預告未來數週將釋出更多 Granite Switch 的細節與資料