研究在做什麼
騰訊（Tencent）提出 Youtu-Parsing-Omni，這是一個全模態解析器，能將文件、影像、音訊和影片轉換為基於空間與時間定位的結構化記錄。該研究提供一個感知層，供代理程式（agents，能閱讀、定位並引用證據的軟體）跨模態閱讀、定位並引用證據。其核心設計理念是「單一編碼器處理所有模態」以及「單一架構處理所有任務」。 Hugging Face 每日精選論文
方法
該模型使用 Youtu-Omni-Encoder，這是一個從預訓練語言模型初始化的編碼器，旨在強化文字閱讀能力。它使用共享權重在統一的時空座標系統中編碼所有模態，並透過少數幾層融合層讓影片影格關注同步的音訊，從而將跨模態融合與時間對齊整合進感知過程中。輸出方面，OmniSchema 統一了十種解析任務的輸出結果。訓練採用 OmniSchema-Aware On-Policy Distillation（OSAD，一種基於 token 角色的自演化後訓練程序），模型在自身生成的軌跡上進行訓練，並參考自身副本生成的 token 級目標，隨後更新權重，使解析器與其監督信號共同演化。 Hugging Face 每日精選論文
結果
使用單一 5 B 參數的檢查點，Youtu-Parsing-Omni 在 OmniDocBench v1.6 上取得了 96.96 的總分（Overall），達到最先進（state-of-the-art）的表現。在 OmniParsingBench 上，它以 75.08 的平均分位居所有開放權重模型之首，其優勢主要集中在音訊和影片任務上。此外，它在圖表解析上取得了 95.02 的最佳總分，並在化學指紋精確匹配方面表現最高。在排版樂譜的角色級轉錄任務中，它與專用光學音樂模型表現相當，且明顯優於通用系統。 Hugging Face 每日精選論文
程式碼與資料
本站 2026-10-31 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：
- 研究機構（Hugging Face 標示）：Tencent
- 程式碼：論文頁沒有列出公開的程式碼
- 專案網頁：https://github.com/TencentCloudADP/youtu-parsing/tree/main/youtu_parsing_omni
- 公開模型：tencent/Youtu-Parsing-Omni
- 線上展示：mrfakename/youtu-parsing-omni