研究在做什麼
KAIST AI 研究團隊提出 OmniShowcase,旨在解決從少數參考影像生成特定主體影片時,當鏡頭轉向輸入影像中未可見的表面時,難以維持主體一致性的問題。早期的主體轉影片(S2V,以參考影像生成影片)方法僅依賴單張參考影像,必須在視角改變時推測主體未見的外觀與幾何結構。近期的方法雖擴展至多參考視角以提供更多資訊,但未明確指定連接這些觀察的 3D 結構,且現有訓練資料無法保證視角變化時底層 3D 主體的一致性。 Hugging Face 每日精選論文
方法
OmniShowcase 包含兩個核心組件:一是全自動資料合成管線,能沿著多樣化的相機軌跡產生訓練影片,其視角變化由底層主體幾何驅動,甚至涵蓋 360 度完整環繞;二是幾何條件化方法,提供影片模型一個由參考視角重建的表面法線圖(surface-normal maps,描述表面朝向的圖譜)轉盤,且無需與生成幀進行時間對齊。研究團隊還構建了 Showcase-4K 語料庫,包含基於 3D 資產的影片,涵蓋 12 種相機運動與 88 種軌跡配置,以及一個包含源網格與相機參數的評估集 ShowcaseBench。 Hugging Face 每日精選論文
結果
實驗結果顯示,OmniShowcase 在主體身分與 3D 一致性方面達到最先進(state-of-the-art)的水準,同時維持具競爭力的影片品質與動態表現。 Hugging Face 每日精選論文
程式碼與資料
本站 2026-10-31 整理(資料來自 Hugging Face 論文頁與 GitHub,由程式查詢,不經模型撰寫):
- 研究機構(Hugging Face 標示):KAIST AI
- 程式碼:justin4ai/OmniShowcase|10 顆星|最後更新 2026-10-29|授權 未標示
- 專案網頁:https://justin4ai.github.io/OmniShowcase/
- 模型與資料集:Hugging Face 上沒有連結到這篇論文的公開模型或資料集