研究在做什麼
即時長影片生成需要持續輸出且保持外觀一致與自然動作。現有分塊自迴歸方法在生成效率與長影片品質上面臨挑戰:即使採用單步去噪,序列化去噪與歷史快取刷新仍需兩次前向傳遞,且隨著生成時間拉長,品質可能下降並導致鏡頭漂移。上海交通大學 DENG Lab 提出 Wave Forcing (WF),共同設計生成、訓練與執行流程,以實現多步去噪的連續影片輸出。 Hugging Face 每日精選論文
方法
WF 使用分塊因果注意力機制,允許模型存取尚未完成去噪但較乾淨的早期區塊,並將錯位的去噪與快取刷新階段分散至完整模型副本,達成 1F1C(每個並行前向輪次輸出一個區塊)。為適應此連續生成過程,研究開發三階段訓練程序,依序引入混合噪聲去噪、動作監督,以及使用自生成歷史資料的因果適應。執行層面,Wave Runtime (WaveRT) 採用 Wave Parallelism (WP) 進行早期 K/V 傳遞與通訊計算重疊,並結合最佳化核心與管線化 VAE 解碼。 Hugging Face 每日精選論文
結果
在 Wan2.1-T2V-1.3B 模型上的實驗顯示,5 步 WF 在短影片與長影片上均維持與 Rolling Forcing 相當的整體品質,同時達到更高的動態程度。系統效率實驗指出,4 步 WF 在 8 張 H200 GPU 上達到 147.6 DiT FPS 與 134.8 端到端 FPS,為單張 GPU 端到端吞吐量的 7.07 倍。在 DiT 專用測試中,使用匹配的 SageAttention+W8A8 後端、去噪步數與 GPU 數量下,WP 在六種模型規模(1.3B-14B)中,提供高達 Ulysses 與 Ring 上下文並行基準中較快者 2.53 倍的吞吐量。 Hugging Face 每日精選論文
程式碼與資料
本站 2026-11-03 整理(資料來自 Hugging Face 論文頁與 GitHub,由程式查詢,不經模型撰寫):
- 研究機構(Hugging Face 標示):DENG Lab @ SJTU
- 程式碼:SJTU-DENG-Lab/WaveForcing|84 顆星|最後更新 2026-11-03|授權 Apache-2.0
- 專案網頁:https://sjtu-deng-lab.github.io/WaveForcing/
- 公開模型:SJTU-DENG-Lab/WaveForcing-1.3B
- 公開資料集:Osc7/WaveForcing_Stage2_ODE_pair
- 線上展示:akhaliq/wave-forcing、hugging-apps/wave-forcing