Fish Audio 發布多角色語音合成模型 Drama 3，總參數 35B

背景

Drama 3 是 Fish Audio 推出的新一代 TTS（text-to-speech，把文字轉成語音的技術）模型。模型卡（發布者自己寫的說明）表示，它是為多角色場景與長篇內容打造，支援多說話者生成、聲音複製（用一段參考錄音模仿特定人的聲音）與自然語言控制。這個模型出現在 Hugging Face（公開分享 AI 模型的平台）的熱門模型列表上，截至本站記錄時，頁面顯示上個月下載次數為 4,048。 Hugging Face 熱門模型

發生什麼事

Fish Audio 在 Hugging Face 以 fishaudio/drama-3 的名稱公開這個模型。模型卡列出的規格是總參數 35B（參數是模型內部可調整的數值，B 代表十億），每個 token（模型處理資料的最小單位）實際啟用 3B。模型卡也說明，Drama 3 從發布當天起就能在 SGLang-Omni（一套用來部署與執行模型服務的框架）上執行。 Hugging Face 熱門模型

重點內容

架構方面，文字主幹採用 MoE（混合專家架構，每次只動用部分子網路運算）設計，並搭配混合注意力機制（同時使用 full attention 與 linear attention 兩種計算方式）。音訊解碼器 Codebook-MTP（負責產生音訊代碼的元件）在整段序列上依序解碼 10 個 codebook（把聲音轉成離散代碼的對照表）。MoE 的專家權重使用 FP8（8 位元浮點數格式），其餘權重使用 bf16（16 位元浮點數格式）。文字中可用 <|speaker:0|> 到 <|speaker:15|> 的說話者標籤，一段文字最多可帶 16 個角色；長文字會自動切段，並可逐段串流（邊生成邊傳送音訊）輸出。 Hugging Face 熱門模型

模型卡附有 API（應用程式介面，讓程式彼此呼叫的接口）範例，示範音檔都用一段 3.9 秒的英文參考錄音 en0 複製聲音。第一種用法是在一般的 /v1/tts 請求中，把「[sighs]」（嘆氣）、「[laughs]」（笑）等標籤寫進文字，標籤放在哪個位置，對應的聲音就出現在那裡。第二種是把編輯當成續寫：模型卡說只要送回先前的 VQ tokens（聲音轉成的離散代碼），就能像一般語言模型那樣接著生成。範例以 previous_takes 欄位帶入前一版句子，把報告截止日從 Wednesday 改成 Thursday，再串接第二次編輯，把 by noon 改成 by five，兩個先前版本都保留在上下文中。 Hugging Face 熱門模型

效能數字為模型卡自報，量測硬體是 NVIDIA H200 GPU（輝達的資料中心繪圖處理器），測試內容是 Seed-TTS 評測資料的英文提示詞（語音合成常用的測試文字與參考錄音），取樣參數（控制生成隨機程度的設定）為 temperature 1.0、top_p 0.9、top_k 30，max_new_tokens（每次最多生成的 token 數）為 500。指標包括 TTFA（從送出請求到收到第一段音訊的時間）與 RTF（從送出請求到最後一段音訊的時間，除以回傳音訊長度）。發布者表示，單張 H200 在並發數（同時處理的請求數）1 時，吞吐量為每秒 166.7 個聲學影格，TTFA p50（中位數）為 88.9 ms，平均 RTF 為 0.131；並發 16 時吞吐量為 927.6，平均 RTF 為 0.373，模型卡說生成速度約為播放速度的 2.7 倍；並發 64 時平均 RTF 為 0.801。另一組測試比較 vocoder（把聲學代碼還原成可播放聲音的元件）的放置位置：256 路並發下，vocoder 與引擎共用 GPU 時吞吐量為 2,422 frames/s、TTFA p50 為 3,403 ms，移到第二張 GPU 後為 4,160 frames/s、2,146 ms，模型卡說吞吐量約增加 72%，TTFA 中位數約降低 37%。 Hugging Face 熱門模型

對使用者的意義

依模型卡說明，Drama 3 是為多角色場景與長篇內容設計。想試用的人可依模型卡指令，從 GitHub（程式碼託管平台）取得 sglang-omni，用 uv pip（Python 套件安裝工具）安裝含 fishaudio 選項的套件，再以 sgl-omni serve --model-path fishaudio/drama-3 --port 8000 啟動服務；安裝、部署與串流 API 範例另見 Drama 3 Cookbook（官方操作手冊）。模型卡建議，需要同時處理大量串流、又要求首段音訊快速回應時，把 vocoder 放到第二張 GPU。模型授權為 Fish Audio Community License，詳細條件需參考授權檔案。 Hugging Face 熱門模型

限制與未定事項

模型卡的效能數字都是發布者在 NVIDIA H200 上、以 Seed-TTS 英文提示詞量測，表 1 每格為四次執行的平均，表 2 每格為六次伺服器啟動的平均。單一段文字最多支援 16 個角色。在 vocoder 與引擎共用 GPU 的配置下，模型卡說 256 路並發時 vocoder 會滿載，新串流的首段音訊需在佇列中等待；並發 64 時 TTFA p95（第 95 百分位數）為 1,020.1 ms。 Hugging Face 熱門模型