VibeVideoBench：評估多模態代理程式驅動影片生成能力

研究在做什麼

現有擴散模型（Diffusion models，一種生成式 AI 模型）雖能產出視覺效果驚人的影片片段，但無法可靠地渲染精確公式、正確圖表、規則一致的遊戲或與螢幕事件同步的旁白。為了解決這個問題，研究團隊引入了 VibeVideoBench，這是一個用於評估多模態代理在程式驅動影片生成（code-driven video generation，即代理撰寫程式碼來渲染每一幀並合成聲音）方面表現的基準測試。 Hugging Face 每日精選論文

方法

該基準包含 239 個自包含任務，涵蓋英語和中文，分為 12 個類別，包括資料故事、音樂驅動作品、課堂教學和論文解釋等。每個任務要求代理在其原生框架內運行於沙箱環境中，且不使用任何圖像或影片生成模型，必須在一小時內交付一個帶有聲音的成品 MP4 檔案。評估過程採用分層且基於證據的方式：包括對交付規範的程式檢查、約 13k 項追蹤至具體要求的任務特定評分標準檢查，以及由三個 VLM（視覺語言模型）評審小組對每個任務的五個品質維度進行評分。 Hugging Face 每日精選論文

結果

在對九個前沿代理系統進行的 2,151 次評分試運行中，GPT-6 Astra 和 Claude Opus 5.5 在評審和人類標註者眼中均排名第一和第二。表現最佳的系統在 76.3% 的任務中滿足了所有核心要求。此外，交付能力是另一個評估軸線：若將缺失的影片計為零分，排名會發生變化。在丟失的影片中，四分之三屬於最終渲染啟動太晚、運行太慢或從未啟動的情況，這反映了代理在規劃一小時工作時間上的失敗。研究還發現，代理雖然會建立自己的渲染管線並檢查自己的幀，但他們查看幀的頻率與最終品質之間沒有預測關係。評審對系統的排名與盲測的人類偏好高度一致。 Hugging Face 每日精選論文

接下來要看的事

• VibeVideoBench 的具體任務範例與評分標準細節
• GPT-6 Astra 與 Claude Opus 5.5 在程式驅動影片生成中的具體技術差異
• 如何改善代理在限時任務中的時間規劃能力

程式碼與資料

本站 2026-10-29 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 程式碼：論文頁沒有列出公開的程式碼
• 專案網頁：https://vibevideobench.github.io/
• 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集