研究在做什麼
ServiceNow AI 團隊提出 Apriel Voice 27B Preview,旨在解決語音助理需同時具備語音辨識、上下文推理、對話維持及工具執行能力的問題。傳統方法往往需要分離的模組,而此模型將這些功能統一在一個共享的推理骨幹中,同時保留文字與影像輸入能力。模型基於後訓練的 Gemma 4 26B-A4B 檢查點構建,直接處理語音並生成回應與工具呼叫。 arXiv cs.CL Reddit r/LocalLLaMA
方法
模型採用兩階段訓練程序以適應語音任務。第一階段建立語音介面,使用 Whisper large-v3-turbo 語音編碼器透過學習到的投影器(projector,將語音特徵轉換為語言模型可理解格式的模組)連接到 Gemma 4 26B-A4B 骨幹。第二階段則透過監督微調、文字重播(text replay,在訓練中混入文字資料以防止遺忘)以及依資料來源而異的交叉熵與前向 Kullback–Leibler 散度監督,共同調整投影器與骨幹。訓練數據包含自動建構的語音條件對話,並利用本地教師服務、重疊計算與融合全詞彙損失來實現高效的線上蒸餾(online distillation,利用較大模型指導較小模型學習的過程)。 arXiv cs.CL Reddit r/LocalLLaMA
結果
在啟用思考模式(thinking mode,模型進行內部推理後再輸出結果的模式)的情況下,Apriel Voice 27B Preview 在 Big Bench Audio 獲得 98.90 分,在 Speech-BFCL 獲得 81.13 分,並在 τ-Voice 任務中達到 65.51% 的成功率,平均延遲為 1.91 秒。在英語評估中,其 EVA-A(服務準確度)為 51.27%,EVA-X(對話體驗)為 74.13%。與閉源系統相比,其 EVA-A 低於 GPT Realtime 2.1(59.03)與 Gemini-3.8 Live Extended Thinking(54.82),但 EVA-X 高於後者(73.5)。在 τ-Voice 成功率上,其表現低於 Gemini-3.8 Live Extended Thinking(84.19%)與 GPT Realtime 2.1(69.82%),但延遲略高於兩者。 Reddit r/LocalLLaMA arXiv cs.CL
在開源兩階段與三階段系統比較中,Apriel Voice 27B Preview 的 EVA-A(51.27)與 EVA-X(74.13)顯著高於 Flux + Gemma 4-26B(36.07/29.22)、Parakeet + Gemma 4-26B(39.97/3.93)及其他開源基線模型。其 τ-Voice 成功率(65.51%)與 Flux + Gemma 4-26B(65.92%)相近,但延遲(1.91 秒)明顯低於後者(2.92 秒)。在 LibriSpeech 測試集上,test-clean 的字錯誤率(WER)為 2.23%,test-other 為 5.15%。 Reddit r/LocalLLaMA
限制
模型本身生成文字與工具呼叫,而非原生全雙工語音,即時語音互動需依賴外部語音合成器與應用層管理輪替。處理長音訊時,處理器會自動將 16 kHz 單聲道錄音切分為 30 秒區塊。測試顯示在連續錄音約 30 分鐘內表現良好,但隨著時長增加,效能可能下降,建議對長音訊啟用思考模式。音訊區塊與對話內容共享總上下文預算,實際輸入長度亦受限於 GPU 記憶體與編碼器快取。 Reddit r/LocalLLaMA
程式碼與資料
本站 2026-11-02 整理(資料來自 Hugging Face 論文頁與 GitHub,由程式查詢,不經模型撰寫):
- 研究機構(Hugging Face 標示):ServiceNow-AI
- 程式碼:論文頁沒有列出公開的程式碼
- 專案網頁:https://servicenow-ai-apriel.hf.space/home
- 公開模型:ServiceNow-AI/Apriel-Voice-27B-preview
- 線上展示:hugging-apps/servicenow-ai-apriel-voice-27b-preview