llama.cpp v0.8.0 發布：支援 LFM3 系列與即時語音 API

背景

llama.cpp 是一個用於在本地硬體上執行大型語言模型的推論引擎。此次 v0.8.0 版本發布旨在擴展對新型模型架構的支援，並強化多模態（Multi-modality，處理文字、圖像、音訊等多種資料類型）能力，特別是即時語音互動功能。 官方原文・llama.cpp Releases

發生什麼事

llama.cpp 於 10 月 28 日發布 v0.8.0 版本。該版本主要新增了 LiquidAI LFM3 模型家族（包含文字、視覺、音訊及全模態模型）的支援，並引入了新的實驗性串流音訊 API。此外，核心底層 ggml 從 v0.27.0 升級至 v0.28.0，帶來多項後端效能優化。 官方原文・llama.cpp Releases

重點內容

模型支援方面，v0.8.0 新增了 LiquidAI LFM3-1.7B（文字）、LFM3-VL-2B（視覺）、LFM3-Audio-2B 與 LFM3-Omni-2B（支援 ASR（自動語音辨識）、TTS（文字轉語音）及語音對話）。其他新增架構包括 DeepSeek V4.1 Flash、SenseNova U1、Beam、Kolibri-1、Flint、Muse Spark 以及來自 LiquidAI、Baidu 和 NVIDIA 的決策與嵌入模型。 官方原文・llama.cpp Releases

伺服器端新增 /v1/realtime 端點，實作 OpenAI 即時協議以支援對話與轉錄，並新增 POST /tts 端點供文字轉語音模型使用。核心效能優化包括將稀疏注意力（Sparse Attention）重構為融合遮罩運算，以及為主機記憶體中的 MoE（混合專家模型）專家層引入 50/50 SLRU（分段最近最少使用）快取機制。 原文

使用者介面（UI）更新允許直接從 Hugging Face Hub 瀏覽與下載模型，並新增對話搜尋與壓縮功能以管理長對話。ggml v0.28.0 引入了 GGML_OP_TOP_K_MASK 融合運算，並針對 CUDA、SYCL、OpenCL、Hexagon HTP 及 KleidiAI 等後端進行效能改進，例如 CUDA 的圖形區塊啟動與 SYCL 的圖形重播。 原文

對使用者的意義

開發者現在可以透過 llama.cpp 在本地部署 LFM3 系列模型，並利用新的串流音訊 API 實現即時語音互動應用。CLI（命令列介面）使用者需注意，現在執行時必須指定 --model 或 -hf 參數。企業與開發者可利用新的即時端點整合語音功能，並透過 UI 直接管理模型下載。 官方原文・llama.cpp Releases

限制與未定事項

mtmd 中的串流音訊 API（mtmd_audio_stream）目前標記為實驗性功能。DRY 採樣器新增的 LLAMA_DRY_MAX_SEQ_BREAKERS 參數上限為 64，每個斷開符在初始化時會消耗 O(n_vocab) 的記憶體。 官方原文・llama.cpp Releases