ElevenLabs 推出 Cue 強制對齊模型，單次處理長音訊且誤差低於 179 毫秒

背景

強制對齊（forced alignment）是指將文字稿中的每個字或字符，精確對應到音訊檔案中發聲時間點的技術。這與旨在讓 AI 行為符合人類價值觀的「AI 對齊」不同，強制對齊僅關注文字與聲音的時間匹配。在語音轉文字（Speech to Text）流程中，對齊模型負責設定每個字詞的時間戳記，讓使用者點擊逐字稿時，播放器能跳轉至該字發聲的精確位置。若對齊不準，字幕或高亮顯示會與聲音不同步，影響觀感。 官方原文・ElevenLabs Blog

發生什麼事

ElevenLabs 於 10 月 28 日發布名為 Cue 的新強制對齊模型。Cue 是 ElevenLabs 語音轉文字模型 Scribe 系列的底層技術，所有 Scribe 請求都會經過 Cue 處理。除了整合在 Scribe 中，Cue 也透過 Forced Alignment API（強制對齊應用程式介面）獨立提供服務，可用於字幕製作、配音以及音樂歌詞時間軸對齊。 官方原文・ElevenLabs Blog

重點內容

Cue 的主要改進在於處理長音訊的能力與精度。傳統對齊工具常需將長音訊切分成約 30 秒的片段處理，這會在片段接合處累積時間誤差。Cue 能單次處理任意長度的錄音，避免切分帶來的誤差。在完整錄音的測試中，Cue 的平均時間誤差為 179 毫秒，而測試的開源工具誤差範圍從 283 毫秒到超過 6,000 毫秒不等。在含有背景噪音、重疊說話或環境音樂的英語錄音中，Cue 的平均誤差為 57 毫秒，其他工具則介於 65 毫秒至 920 毫秒之間。 官方原文・ElevenLabs Blog

在語言支援與速度方面，Cue 是單一模型，涵蓋超過 90 種基準語言，而多數開源對齊器需為每種語言使用獨立模型。在 29 種語言的基準測試中，Cue 的準確度優於所有測試的對齊器。速度上，Cue 在生產環境的 GPU（圖形處理器）上處理一小時音訊約需半秒，次快的 Qwen3-ForcedAligner 需近 2 秒，最慢的測試工具則超過一分鐘。此外，Cue 在音樂對齊上表現突出，在 JamendoLyrics MultiLang 資料集的英語、法語、西班牙語和德語歌曲子集中，92.7% 的字詞對齊誤差在 0.3 秒內，平均起始誤差為 0.82 秒，準確度優於其他工具。 原文

對使用者的意義

開發者與企業使用者可透過 ElevenLabs 的 Scribe 服務自動獲得高精度的逐字稿時間軸，或透過 Forced Alignment API 直接呼叫 Cue 模型來處理自有的音訊與文字對齊需求。這對於需要精確字幕同步、配音時間軸調整或卡拉OK歌詞對齊的應用場景有直接幫助。ElevenLabs 表示，該團隊能迅速響應使用者回饋，例如在發現格魯吉亞語等低資源語言表現不如預期後，於 24 小時內完成模型改進與發布。 官方原文・ElevenLabs Blog