NVIDIA 發布 Nemotron 3.5 Transcribe 與 Granary v2 多語轉錄工具

背景

語音轉錄技術常面臨多語混合、說話者難以區分以及專業術語拼寫錯誤等挑戰。傳統模型往往需要針對不同任務（如單純轉錄、翻譯或說話者標註）使用不同的模型或後處理步驟，且難以透過自然語言指令調整輸出格式。NVIDIA 針對這些需求，推出了整合式模型與配套的資料處理管線，旨在讓開發者能更靈活地控制轉錄結果並適應特定領域的詞彙。 官方原文・Hugging Face Blog

發生什麼事

NVIDIA 於 10 月 28 日發布 Nemotron 3.5 Transcribe，這是一個開源權重（open-weight，權重參數公開可下載）的語音模型，現已上架 Hugging Face 和 ModelScope。該模型將轉錄、說話者標註（diarization，區分誰在何時說話）、翻譯以及音訊問答整合在同一個檢查點（checkpoint，模型訓練後的狀態檔案）中。它能轉錄 40 種語言，將其中 31 種語言翻譯成英文或從英文翻譯，並能標註 13 種語言中的說話者。模型支援長達一小時的錄音，並能標註最多八位說話者。 官方原文・Hugging Face Blog

重點內容

Nemotron 3.5 Transcribe 在多個基準測試中表現突出。在 Hugging Face Open ASR Leaderboard 的英文項目中，它以 5.33% 的平均字錯誤率（WER，Word Error Rate，衡量轉錄錯誤比例的指標）位居開源權重模型之首。在 Artificial Analysis 的排行榜上，它以約 4B（40 億）的活躍參數達到 2.8% 的 AA-WER，與擁有 24B 活躍參數的模型並列開源權重模型第一。在 David AI 的 21 種語言說話者標註排行榜中，其說話者標註錯誤率（DER）為 18.26%，為測試的 14 個系統中最低。在 VoiceArena 的比較中，其串聯最小排列字錯誤率（cpWER）為 32.4%，同樣位居第一。 官方原文・Hugging Face Blog

開發者可以透過自然語言提示（prompt）來引導模型輸出。例如，輸入「轉錄這段錄音並標註每位說話者」或「將這段音訊翻譯成英文」。對於醫療等專業領域，可以在提示中提供術語列表（如 HbA1c、metformin），模型會根據音訊內容決定是否使用這些術語，並保留標準拼寫。模型支援字級時間戳記，適用於需要精確對應音訊與文字內容的應用場景。此外，即將推出的量化版本將支援在單張 NVIDIA GPU 上運行，涵蓋從 Jetson AGX Thor、DGX Spark 到 Blackwell 資料中心 GPU 等多種硬體。 原文

NVIDIA 同時發布了 Granary v2，這是一個用於訓練 Nemotron 3.5 Transcribe 的開源資料管線與資料集。Granary v2 的公開清單涵蓋 48 種語言、16 個來源語料庫，總計 463,062 小時的音訊資料。該管線利用 NVIDIA NeMo Curator 工具，將原始音訊處理為三種轉錄形式：文字正規化逐字稿、含口語錯誤的反向文字正規化逐字稿、以及不含口語錯誤的反向文字正規化逐字稿。除了轉錄，管線還生成音訊描述、語碼轉換修復、基於音訊的問答對以及帶有品質分數的翻譯。 原文

對使用者的意義

開發者可以從 Hugging Face 或 ModelScope 下載模型檢查點，並使用 vLLM 部署服務，或透過 NeMo-Speech.cpp 在本地運行。若不想自行託管，可使用 Baseten、DeepInfra 或 Simplismart 提供的託管端點。對於需要適應特定領域詞彙的應用，開發者可以使用 Granary v2 的清單和 NeMo Speech 微調工具。在一個醫療案例研究中，透過微調，模型在保留說話者測試集上的字錯誤率從最佳提示基線的 22.44% 降至 12.17%，相對降低了 45.8%。這顯示微調能有效提升特定領域的識別準確度，且泛化能力良好。 官方原文・Hugging Face Blog

限制與未定事項

Nemotron 3.5 Transcribe 專為錄製音訊設計，不支援即時串流（live streaming）。雖然即將推出量化版本以支援單張 GPU 運行，但目前尚未發布。在醫療微調案例中，雖然整體字錯誤率下降，但在 LibriSpeech test-clean 的通用英語測試中，字錯誤率從 1.54% 輕微上升至 1.69%。此外，對於品牌名稱和診斷術語的精確匹配，專門的醫療模型仍略勝一籌，研究建議下一步應收集臨床醫師實際發音品牌名稱的錄音以進一步改進。 官方原文・Hugging Face Blog

接下來要看的事

• 關注 NVIDIA 何時正式發布 Nemotron 3.5 Transcribe 的量化版本，以及其在 Jetson AGX Thor 等邊緣裝置上的實際效能表現。
• 觀察開發者社群如何利用 Granary v2 的資料管線，針對法律、金融等其他專業領域進行模型微調的案例研究。
• 追蹤 NeMo-Speech.cpp 的更新進度，特別是對更多硬體後端（如 Vulkan、Metal）的支援情況與效能優化。