背景
llama.cpp 發布 v0.9.0 版本，同步更新底層函式庫 ggml 至 v0.29.0。 官方原文・llama.cpp Releases
發生什麼事
llama.cpp 於 2026 年 11 月 4 日發布 v0.9.0 版本。此次更新的核心變更包括新增 OCP FP8 E4M3 量化支援、引入 flash_attn_ext_rows 操作以優化統一 KV 快取（Key-Value Cache，用於儲存模型推理過程中的鍵值對以加速生成），以及提供批次張量複製 API（Application Programming Interface，應用程式介面）。此外，ggml 函式庫升級至 v0.29.0，帶來多節點張量並行處理的初步支援。 官方原文・llama.cpp Releases
重點內容
在量化與效能方面，v0.9.0 新增了 OCP FP8 E4M3 張量類型（飽和模式），並提供了轉換輔助工具。新的 flash_attn_ext_rows 操作讓統一 KV 快取在多序列推理時更有效率，並恢復了非統一 KV 快取的預填充（prefill，模型處理輸入提示詞的階段）效能。ggml v0.29.0 還引入了批次張量複製 API（ggml_backend_tensor_copy_n/set_n/get_n），取代了舊有的 _2d API，並已在 Metal 和 CUDA 後端實作。 官方原文・llama.cpp Releases
模型支援方面，本次更新新增了四種架構：Clover-35B-A3B-Preview（擴散模型，AR 模式（自迴歸模式，即模型依序生成下一個 token 的方式））、Limite 1B - Violetto、Metis-1.6（混合 Mamba-2（一種線性時間序列模型架構）/ GQA（分組查詢注意力）注意力機制）以及 Mistral Large 4。針對 Gemma 4 E2B 和 E4B 模型，開發者進行了圖優化，顯著提升了預填充階段的效能。LFM3 模型現在支援 NVFP4 GGUF 格式（NVIDIA 的 FP4 量化格式，一種低精度量化技術）與張量分割。 原文
多模態功能擴展了音訊生成與轉錄能力。新增支援 Chatterbox TTS（文字轉語音）、Nemotron 3.5 Transcribe（支援 40 種語言的離線轉錄與說話者標記），以及 Pocket TTS 的預定義語音（無需語音克隆）。伺服器端點 GET /props 現在會報告模型的預定義 TTS 語音，且 TTS 端點接受預定義語音名稱。此外，qwen3-vl 的影片提示詞格式現在得到準確支援。 原文
對使用者的意義
v0.9.0 新增 OCP FP8 E4M3 張量類型與轉換輔助工具。ggml v0.29.0 透過新的多進程通訊介面，提供多節點張量並行處理的初步支援。多模態方面新增 Chatterbox TTS、Nemotron 3.5 Transcribe 與 Pocket TTS 預定義語音支援。Gemma 4 E2B 和 E4B 模型獲得圖優化，官方描述為預填充效能大幅提升。 官方原文・llama.cpp Releases
限制與未定事項
ggml v0.29.0 中的多節點張量並行處理僅為初步支援。批次張量複製 API 目前僅在 Metal 和 CUDA 後端實作。Clover-35B-A3B-Preview 模型標記為預覽版本。 官方原文・llama.cpp Releases
