ElevenLabs 解析文字轉語音技術：從前端分析到神經網路合成

背景

文字轉語音（Text to Speech，TTS）技術將書面文字轉換為語音音訊。TTS 大致分為兩個階段：前端將文字轉換為引擎可處理的數學形式，後端將第一階段的輸出轉換為模擬語音的波形。神經語音合成是企業級 TTS 的最新一代。在此之前，1970 年代與 80 年代主導的共振峰合成（Formant synthesis，透過數學規則模擬語音特徵的合成技術）透過數學規則產生合成聲音，聽起來單調且具機械感；1990 年代至 2010 年代流行的拼接合成（Concatenative synthesis，從語料庫中拼接人類語音樣本的合成技術）則從語料庫中拼接人類語音樣本，雖然較自然但可能出現斷續感。神經語音合成利用深度神經網路（DNN，一種多層神經網路架構）訓練大量語音與文字配對資料，以產生更自然且易於理解的語音。 官方原文・ElevenLabs Blog

發生什麼事

ElevenLabs 發布文章詳細解析 TTS 技術運作原理，涵蓋從文字正規化、語義分析、聲學建模到波形合成的完整流程。文章指出，TTS 引擎首先透過自然語言處理（NLP，讓電腦理解與處理人類語言的技術）清理並分詞，接著將分詞後的資訊與脈絡向量轉換為聲學表示（如 mel-spectrogram，一種描述聲音隨時間變化的頻譜圖），最後由聲碼器（vocoder，將聲學表示轉換為音訊波形的元件）將其轉換為人類可辨識的音訊波形。 官方原文・ElevenLabs Blog

重點內容

TTS 的前端處理包含文字正規化與語言分析。引擎需處理縮寫、數字與符號，例如將「$11」讀作「eleven dollars」，並根據語境判斷「10/06」是「October sixth」還是「the tenth of June」。此外，引擎會生成韻律（prosody，語音的音高與節奏）資訊，即語音的音高與節奏，以處理同形異音詞（homographs，拼寫相同但發音不同的詞）的發音差異，並利用向量表示（vector representations，一種映射語義相似度的數值資料）捕捉語義相似度。後端則由神經模型將這些數值數據轉換為聲學表示，再透過聲碼器進行波形生成。 官方原文・ElevenLabs Blog

為了控制發音，ElevenLabs 的 ElevenAPI 提供發音字典功能，允許開發者建立符合 W3C 標準的 Pronunciation Lexicon Specification (PLS) 檔案，將字素（graphemes，文字中的符號）映射到音素（phonemes，將口語分解為聲音的單位），以覆蓋預設發音。另一種方式是使用國際音標（IPA，一套用於標示人類語音的標準符號系統）進行內嵌標註，適合針對特定詞彙進行微調。對於長篇內容可能出現的單調語音問題，建議透過變化劇本措辭、使用語音標籤以及加入情緒與節奏提示來改善。 原文

在開發者整合方面，ElevenAPI 支援 REST 請求與 WebSockets。REST 適用於生成完整音訊檔案，而 WebSockets 支援真正的雙向音訊串流，允許在生成過程中即時播放音訊區塊，適合即時互動場景。為了讓對話代理聽起來自然，目標是將首次音訊延遲（time-to-first audio）控制在約 100 毫秒內。ElevenAPI 提供 Python 與 TypeScript/JavaScript 的軟體開發套件（SDKs），協助快速整合。 原文

對使用者的意義

企業與開發者可利用 TTS 技術降低媒體製作成本，應用於旁白、配音、遊戲對話及有聲書製作。在無障礙應用上，螢幕閱讀器與朗讀工具可協助視障、閱讀障礙或認知差異使用者獲取資訊。在客戶服務領域，結合大型語言模型（LLM，能處理與生成自然語言的 AI 模型）與語音辨識的代理（如 ElevenAgents）可處理電話、網頁、WhatsApp 等多管道互動，取代傳統的按鍵式互動語音應答（IVR，Interactive Voice Response，一種讓使用者透過語音或按鍵與系統互動的技術）系統。例如，Klarna 使用 ElevenAgents 將解決問題的時間縮短了 10 倍。 官方原文・ElevenLabs Blog