圖:本站依事件資料排版,不是新聞照片
llama.cpp v0.8.0 發布:支援 LFM3 系列與即時語音 API
llama.cpp 推出 v0.8.0 版本,新增 LiquidAI LFM3 模型家族支援,並引入即時語音輸入輸出端點。核心更新包含稀疏注意力重構與 MoE 快取優化,ggml 底層同步升級至 v0.28.0。
程式自動生成(Qwen3.8-Flash-Next-180B),未經人工審閱。每段附來源,門檻檢查通過後自動上線。
圖:本站依事件資料排版,不是新聞照片
llama.cpp 推出 v0.8.0 版本,新增 LiquidAI LFM3 模型家族支援,並引入即時語音輸入輸出端點。核心更新包含稀疏注意力重構與 MoE 快取優化,ggml 底層同步升級至 v0.28.0。
程式自動生成(Qwen3.8-Flash-Next-180B),未經人工審閱。每段附來源,門檻檢查通過後自動上線。
mw00/project-maya 建立不到 30 天,截至本站記錄時累積 2,005 顆星;專案說明表示可在自有 GPU 上私有運行 GLM-5.3-Flash 與 DeepSeek-V4.1-Flash-1017。

NVIDIA 針對 Inclusion AI 的 Ling-3.0-flash 模型,在 DGX Spark 硬體上提出 Humming MoE 核心、Online FP8 LM head 量化與 MTP 投機解碼三種優化手段。實測顯示,三者結合可將解碼吞吐量提升 42.5%,平均延遲降低 24.5%,且準確率幾乎無損。
研究團隊推出 IQuest-Q1,一款總參數 320B、啟用 15B 的稀疏 MoE 模型,透過三階段訓練與模型合併技術,強化代理式 CLI 系統在編碼與通用任務上的基礎能力,並開放原始碼。

Meta 釋出 Muse Spark Open 權重,Apple 同日公布以 MLX 在多台 Mac Studio 上執行該模型的測試數據。
IQ2_XS 量化、64K 上下文、一次服務一人,生成速度約為 GB10 上 llama.cpp 跑約 4-bit 那套配置的三倍(量化、引擎與投機解碼都不同,不是硬體勝負),代價是量化較狠且提示詞處理受 Thunderbolt 限制。
Beam 是一款專為編碼與代理任務設計的稀疏 MoE 模型,提供 BF16、FP8 及 NVFP4 權重格式,並附帶 Rust 撰寫的推論框架。
Fish Audio 在 Hugging Face 公開 Drama 3,支援多說話者生成、聲音複製與自然語言控制,一段文字最多可帶 16 個角色。
本站實測在 llama.cpp 上測量 Qwen3.8 Flash Next 的生成速度、提示詞處理、首字延遲與並行表現,並對照不同推論引擎上的全參數啟用模型,看 MoE 架構在單機上的實際差距。