號稱第一的語音模型在台灣口音表現如何？Nemotron 3.5 Transcribe 對比 Whisper

結論先講

• 同樣 617 句台灣口音中文，Whisper large-v3-turbo 的字元錯誤率 12.3%，NVIDIA 新開源的 Nemotron 3.5 Transcribe 最好的一組 19.5%，差距約 1.6 倍。
• Nemotron 不管怎麼提示，617 句裡有 558 句以上寫成簡體；提示詞明寫「台灣繁體」也壓不住。另有 14 到 35 句整句變成英文或越南文。
• Whisper 也有自己的老毛病：四分之一的句子尾巴多出「字幕志愿者」「感谢观看」這類幻聽字串。本站影片旁白的回讀檢查維持用 Whisper，不換。

這個模型解決什麼問題

NVIDIA 在 10 月 28 日開源 Nemotron 3.5 Transcribe，一個 34B 參數、每個 token 只啟用 4.3B 的語音語言模型，授權 OpenMDW-1.1 可商用。它把過去要分開跑的幾件事收進同一個模型：40 種語言的轉錄、最多 8 位講者的「誰在什麼時候說了什麼」、翻譯、依提示遮蔽個資、對錄音內容問答，最長一次吃一小時錄音。官方在 Hugging Face Open ASR 英文榜拿到開放權重第一。

它和 Whisper 最大的不同是「用指令控制」：同一段錄音，換一句提示就從逐字稿變成乾淨版、加講者標籤或直接翻譯。對英文會議紀錄這類需求，這是真正的新功能。本站關心的是另一件事：台灣口音的中文，它到底聽得準不準。官方語言表把中文普通話列在最低的「Supported」一級，FLEURS 中文 CER 8.62%，會議多人語音 cpCER 超過 30%。

測試方法

• 測試集：Common Voice 16.1 zh-TW 的測試切分（Hugging Face 上 JiHungLin 整理的版本，Apache-2.0），617 段、共 4.8 小時，每段約 27 秒，由多句台灣人朗讀的句子接成，附正確文字。另加本站一段 248 秒的影片旁白（台灣口音 TTS，有逐字稿），看長音訊表現。
• Nemotron：BF16 完整權重 63 GB，用 Transformers 5.22 跑在 NVIDIA GB10 桌上型主機（128 GB 統一記憶體），載入後占 63.5 GB。沒有安裝 Mamba 專用核心，速度比官方 vLLM 路徑慢。兩種提示詞：模型卡建議的逐字稿提示，以及加上「中文請用台灣繁體」的字型控制版。
• Whisper：faster-whisper large-v3-turbo，CPU int8、beam 5，與本站影片旁白回讀門檻完全相同的設定，包含那句繁體中文提示詞；另跑一組不給提示的對照。
• 指標：字元錯誤率（CER），去掉標點與空白後計算。因為兩邊都會把中文寫成簡體，另外把參考與輸出都逐字轉成繁體再算一次，把「字型差異」和「聽錯」分開；轉換只做逐字對應，軟件、視頻這類詞彙差異仍算錯。數字寫法（94 與九十四）兩邊都一樣算錯。
• 工具與每一句的輸出都保存在本站 ops/lab/asr-compare，可重跑。

617 句的結果

即時率是處理時間除以音訊長度，越小越快。Whisper 跑在 14 核心的 CPU 上，Nemotron 跑在 GB10 的 GPU 上，兩個數字不能直接比效率，只說明兩邊都能在數分之一的實時內處理。

四個可以直接讀出來的事：

1. Whisper 那句繁體提示詞不是裝飾。拿掉它，簡體句從 104 變 491，原樣錯誤率從 12.7% 跳到 35.1%；轉繁後兩組只差 2 個百分點，表示提示詞主要在管字型，對聽力幫助有限。

2. Nemotron 對台灣口音的聽力本身就落後。把字型問題全部排除後仍是 19.5% 對 12.3%，中位數 37.5% 對 9.7%，一半以上的句子錯超過三分之一。

3. 大一倍的 Whisper large-v3 沒有比較準：轉繁後 15.2% 對 turbo 的 12.3%，中位數相近但 P90 從 27% 升到 42%，表示它在難句上更容易整段崩掉，速度還慢一倍。本站門檻用 turbo 是對的。

4. 「指定台灣繁體」提示對 Nemotron 有效但不穩：原樣錯誤率從 55% 降到 43%，整句翻成外語的情況從 35 句降到 14 句，可是簡體句仍有 558 句，差別多半只是夾雜了幾個繁體字。

248 秒旁白

長音訊上兩邊的聽力差距縮小到 2 個百分點。Nemotron 第一次跑這段時我把輸出上限設在 512 個 token，結果轉錄到一半就斷了，錯誤率 71%；放寬到 4096 才拿到上面的數字。一小時的錄音要給足幾萬個 token 的輸出空間，這點模型卡沒有特別提醒。

兩邊各自的錯法

Whisper 的錯誤集中在句尾。617 句裡 155 句結尾多了一截訓練資料留下的字串：「字幕志愿者 杨茜茜」「感谢观看」「明镜需要您的支持 欢迎订阅明镜」。這些字串和語音內容無關，是模型在靜音段自己接出來的，做字幕時要另外過濾。

Nemotron 的錯誤是整句層級的。同一段「滿地找牙醫診所 無能維力炸醬麵 中華東路」，Whisper 聽成「滿地找牙醫診所,無能為力炸帳面。中華東路」，Nemotron 回了一句越南文「Mỗi ngày cháo ả y trắng xóa」。另一段「兩人外艙 忠明南路 鳥來伯與茱麗葉」被翻成英文「Two people, outer cabin, Zhongning South Road」。這類情況在逐字稿提示下有 35 句，加上語言指示後 14 句。聽得清楚的句子它也能做到和 Whisper 同樣好，例如「民國元年 你來了啊 每一位公民」兩邊都只錯一個字；差別在它的失敗模式更極端。

用與不用的差別

• 要處理台灣口音的中文，現階段還是 Whisper。本站的影片旁白回讀門檻維持 faster-whisper large-v3-turbo 加繁體提示，不換。
• 需要英文會議的講者分離、一段錄音直接翻譯、或用指令叫模型遮蔽個資，Nemotron 是目前少數開放權重就有這些功能的模型，值得試，但要先接受它會把中文寫成簡體。
• 硬體門檻不低：BF16 要 63 GB 記憶體，官方部署目標是一張 H100 80 GB；FP8 與 NVFP4 版本要 Hopper 或 Blackwell 架構的卡。RTX 3090、A6000 這類 Ampere 卡只能跑 BF16，單卡放不下。

限制

• 測試集是朗讀句，不是自然對話；每段由多句拼成，中間有停頓，兩邊的錯誤率都比單句測試高。
• 長音訊只有一段，而且是 TTS 合成的台灣口音，不是真人。
• Nemotron 沒裝 mamba_ssm 與 causal_conv1d 核心，速度數字偏慢；沒測講者分離與翻譯功能。
• 只跑了 BF16 版本，FP8 與 NVFP4 量化版未測。
• Whisper large-v3 只跑了繁體提示那組。

資料來源

• NVIDIA，NVIDIA-Nemotron-3.5-Transcribe-30B-A4B 模型卡（Hugging Face，2026-10-28）
• JiHungLin/common_voice_16_1_zh_TW_pseudo_labelled（Hugging Face，Apache-2.0；原始語料 Mozilla Common Voice 16.1，CC-0）
• faster-whisper 1.2.1，large-v3-turbo