背景
MonsterHouse 是一個為萬聖節設計的互動投影角色，外觀為一個脾氣暴躁的舊房子，設定上由沉沒海盜船木材改建。該專案讓訪客透過語音互動獲得糖果，角色會根據訪客是否說「請」與「謝謝」改變態度。整個系統建立在 NVIDIA Nemotron Voice Agent 架構上，整合了語音辨識、語言模型、語音合成與面部動畫技術，並運行於單一台工作站上。 官方原文・Hugging Face Blog
發生什麼事
開發者創建了 MonsterHouse，這是一個具備海盜船背景故事的互動式鬼屋角色。系統使用 NVIDIA Nemotron Speech ASR（自動語音辨識，將語音轉為文字）接收訪客輸入，由 NVIDIA Nemotron 3.5 Bolt E4B 4GB 作為核心語言模型生成回應，再透過 NVIDIA Magpie TTS Zeroshot（零樣本語音合成，僅需短參考音訊即可複製聲音）輸出聲音，最後由 NVIDIA Audio2Face-3D 驅動 Unreal Engine 5 中的 3D 模型進行口型同步。 官方原文・Hugging Face Blog
重點內容
在硬體配置方面，系統運行於一台配備 NVIDIA RTX PRO 6000 Blackwell Max-Q 和 NVIDIA RTX PRO 4000 Blackwell 的工作站。為了保持動畫幀率穩定，語言與語音模型管線運行在 RTX PRO 6000 上，而 Unreal Engine 圖形處理與 Audio2Face-3D 則運行在 RTX PRO 4000 上。開發者指出，瓶頸在於運算能力而非記憶體。 官方原文・Hugging Face Blog
為了優化對話體驗，開發者使用了 Nemotron 3.5 Bolt E4B 的 4-bit 量化版本（即名稱中的 4GB），並訓練了一個 LoRA（低秩適應，一種讓大型模型適應特定任務的微調技術）適配器來塑造角色個性。該 LoRA 基於超過 5000 個多輪對話資料集訓練而成。在延遲表現上，使用 Bolt Q4 與 TTS 的語音結束到音訊輸出的中位數時間為 1.70 秒；若使用快取回應，則降至 0.72 秒。語音結束偵測目前設定為等待 300 毫秒的靜音。 原文
視覺感知方面，系統可選配 NVIDIA Nemotron 3 Nano Omni（視覺語言模型，能理解影像內容）來辨識訪客的服裝，並搭配 YOLO（一種物體偵測模型）與 ByteTrack（一種多物體追蹤演算法）來計算與追蹤訪客人數。開發者測試了 Omni 辨識五隻穿著不同萬聖節服裝的綿羊影片，其存檔分析識別出海盜、吸血鬼、女巫、南瓜與幽靈的服裝。此外，Audio2Face-3D 預設模型適用於中性男女聲音，開發者透過提供乾淨的語音樣本給 Audio2Face-3D，再於後端添加回聲與腔體效果，以實現深沉的海盜嗓音。 原文
對使用者的意義
雖然 MonsterHouse 的完整程式碼未公開發布，但其所使用的 NVIDIA 模型均可取得。開發者建議使用者從 NVIDIA Nemotron Voice Agent 開始，該代理提供了包含 Nemotron Speech ASR、LLM 與 Magpie TTS 的級聯管線，以及語音活動偵測功能。使用者可在 build.nvidia.com 上試用 Bolt E4B 與 Magpie TTS Zeroshot。對於計算資源受限的情況，開發者建議可採用「離線生成、線上快取」的策略，即預先生成數百個回應音訊，現場僅使用語音辨識與路由邏輯播放快取內容。 官方原文・Hugging Face Blog
限制與未定事項
開發者指出，目前的視覺辨識功能在處理流行服裝識別與機智回應方面，可能需要進一步的微調訓練。此外，雖然系統在合成測試中表現良好，但尚未在真實的萬聖節夜晚、複雜的戶外光線與真實訪客群組中進行完整測試。開發者表示，最終目標是讓系統完全自主運行，但目前仍需人工監控與調整。 官方原文・Hugging Face Blog
