清華大學提出 Falcon 模型，參數減少 91.9% 並降低串流音訊擷取延遲
針對真實場景中多講者干擾與邊緣裝置部署難題，研究團隊發布 RealSSA 基準並提出 Falcon 方法，在保持高品質擷取的同時大幅降低計算成本。
本文重點
- 清華大學發布 RealSSA 基準並提出 Falcon 方法，解決多講者干擾與部署難題。
- Falcon 將參數減少 91.9%，計算量降低 20.2 倍，GPU 推理延遲降低 11.1 倍。
- 程式碼與模型已公開，邊緣裝置可部署，但需自行整合至現有串流音訊系統。
- 本站上線
- 2026/10/30 上午01:17
- 首次報導
- 2026/10/23 上午08:00
- 最早來源發布
- 2026/10/23 上午08:00
研究在做什麼
串流音訊視覺目標講者擷取（Streaming audio-visual target speaker extraction, AVTSE）對於低延遲應用至關重要，但現有因果系統存在兩個主要問題：標準基準通常固定為兩名講者，忽略了真實場景中的近場/遠場干擾、混響及突發噪音；此外，高性能因果架構過於龐大，難以在邊緣裝置上部署。Tsinghua Machine Learning Group 的研究旨在解決這兩個問題，分別透過發布更貼近真實的基準與提出輕量級方法來改善現狀。 Hugging Face 每日精選論文
方法
研究團隊發布了 RealSSA 基準，包含 RealSSA-Sim（模擬場景，含 1-5 名動態近場干擾講者，遠場干擾場景另含 10-15 名遠場講者）與 RealSSA-Real（保留的真實錄音評估集）。針對部署難題，他們提出了 Falcon 方法，其 Separator 在單次編碼器-解碼器路徑中執行多尺度時頻分離。Falcon 使用編碼器空間講者對比損失進行訓練，這種損失能在零推理成本下抑制近場洩漏，並可跨不同骨幹網路轉移。 Hugging Face 每日精選論文
結果
Falcon 在 RealSSA-Sim、LRS2-2Mix、LRS3-2Mix 和 VoxCeleb2-2Mix 上達到了最優的擷取品質。與因果 AV-TFGridNet 基準相比，Falcon 將參數數量減少了 91.9%，計算量降低了 20.2 倍，GPU 推理延遲降低了 11.1 倍。 Hugging Face 每日精選論文
程式碼與資料
本站 2026-10-30 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：
- 研究機構（Hugging Face 標示）：Tsinghua Machine Learning Group
- 程式碼：JusperLee/Falcon｜20 顆星｜最後更新 2026-10-29｜授權 Apache-2.0
- 專案網頁：https://cslikai.cn/Falcon/
- 公開模型：JusperLee/Falcon、JusperLee/Falcon-Big
- 公開資料集：JusperLee/RealSSA-Sim、JusperLee/RealSSA-Real
- 線上展示：JusperLee/Falcon-Studio
來源：佐證 1 筆
媒體轉述新聞媒體的報導
- Hugging Face 每日精選論文 · Efficient Streaming Audio-Visual Target Speaker Extraction for Real-World Acoustic Scenes10/23 上午08:00
這篇對你有用嗎？
留言 0
- 還沒有留言，第一則就是你的。
留言不用登入；名字選填，沒填就顯示「匿名會員」。含連結或疑似廣告的留言會先經編輯確認；檢舉達 3 次的留言會自動隱藏。隱私政策
發現錯誤？
回報會進入待處理清單；核實後更正，並在文中註記更正紀錄。