Audible 團隊推出可控 TTS 技術，提升有聲書角色辨識度

背景

文字轉語音（Text-to-speech, TTS）技術將書面文字轉換為合成語音，在聊天機器人等短互動場景中表現自然，但應用於有聲書等長篇內容時效果較差。傳統 TTS 模型難以像人類旁白者那樣可靠地切換不同角色的說話風格，導致聽眾難以區分旁白與對話，也無法辨識哪句台詞屬於哪個角色。此外，通用 TTS 模型通常只處理單句且缺乏上下文，難以維持整本書的角色聲音一致性，例如第一章與第十章中同一角色的聲音可能差異明顯。 官方原文・Amazon Science

發生什麼事

Amazon Audible 技術團隊開發了一套可控文字轉語音（Controllable TTS）系統，利用大型語言模型（LLM, Large Language Models）的深度文本理解能力來合成高品質語音。該系統透過自然語言描述（例如「用熱情、高音調的聲音說話」）來控制對話的呈現方式。 官方原文・Amazon Science

重點內容

該技術包含三項關鍵創新。第一，開發了一種新的資料合成管線，產生帶有高品質語音特徵描述的語音資料，使模型能理解描述並在推論時產生一致的音訊。第二，建立了一個系統，自動分析書籍中的角色並識別其對話，在英語和西班牙語測試中分別達到 97% 和 94% 的準確率，同時為對話提供作為「舞台指示」的描述。第三，結合前兩項技術合成具有不同角色聲音的有聲書，在 MUSHRA（多刺激隱藏參考與錨點測試，一種標準化的聽覺品質評分方法）測試中，將對話區分度提升了 3.7 分。 官方原文・Amazon Science

系統中的 BookLLM 組件利用現成的 LLM 識別書籍中的獨特角色，並根據年齡、性別、性格和角色定位等資訊定義其聲音特徵。它從精選的聲音目錄中為每個角色分配獨特的聲音檔案，刻意最大化最突出角色之間的對比，讓聽眾能將他們區分開來；次要及一次性角色則回退到預設旁白聲音，避免產生大量罕少使用的聲音。在合成時，每段文字連同說話者的聲音檔案和必要的舞台指示描述一起傳給 TTS 模型，由於角色的聲音檔案在書籍層級固定一次，模型能從頭到尾一致地呈現該角色，避免通用模型傾向於漂移或在第一章與第十章中用不同方式發聲的問題。 官方原文・Amazon Science

對使用者的意義

這項技術旨在改善有聲書的聆聽體驗，解決合成語音中不自然的節奏或單調表達在長時間（每本書 10 到 15 小時）聆聽中變得煩人的問題。透過讓角色聲音更清晰、一致且富有表現力，系統提供了更令人愉快的聆聽體驗，特別是在需要區分旁白與對話、辨識不同角色的場景中。 官方原文・Amazon Science