VCLab 發布 OmniCompass：全模態影片理解評測基準

研究在做什麼

VCLab 團隊指出，現有的影片理解評測基準僅涵蓋部分評估維度，難以系統性地診斷全模態影片理解能力。為此，他們提出了 OmniCompass，這是一個針對全模態影片定位與理解的綜合評測基準，旨在解決現有基準覆蓋不全的問題。 Hugging Face 每日精選論文

方法

OmniCompass 定義了兩條評估軌道：OmniCompass-VL 評估視覺語言模型在需要視覺證據任務上的表現，OmniCompass-AV 則評估全模態模型在需要音訊與視覺共同證據任務上的表現。每條軌道包含三個互補任務：時間定位（判斷目標何時出現）、空間定位（判斷目標在哪裡）以及問答（判斷發生了什麼）。OmniCompass-VL 包含 820 個影片和 2,460 個實例，涵蓋短、中、長三種時長類型；OmniCompass-AV 由敘事和音訊豐富的子集組成，包含 240 個影片和 720 個實例。所有實例均經過人工標註與多輪品質驗證，並在「僅文字」與「文字+圖片」兩種配對設定下進行評估。 Hugging Face 每日精選論文

結果

研究對 50 個多模態大型語言模型（MLLMs）進行了評估。結果顯示，開源模型在音訊視覺理解方面仍落後於專有模型。此外，即使對於表現較佳的模型，精確的時間和空間定位仍然具有挑戰性，且它們在配對目標規範下的預測仍存在不一致性。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-17 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：VCLab
• 程式碼：PolyU-VCLab/OmniCompass｜60 顆星｜最後更新 2026-10-15｜授權 未標示
• 專案網頁：https://omnicompass.netlify.app/
• 公開資料集：VCLab-PolyU/OmniCompass
• 線上展示：tardellirs/paper-pulse