研究在做什麼
FrameX-AI 提出 FrameForge，旨在解決統一條件影像生成（Unified conditional image generation）的問題。此任務要求單一模型在保留視覺輸入不同面向的同時，依據文字指引生成目標影像。現有方法通常將條件與目標固定在特定的時間位置，但 FrameX-AI 觀察到，不同生成任務中條件與目標的關係差異很大，而預訓練的影片模型天然地在不同時間尺度上編碼視覺轉換，這為建模提供了新的切入點。 Hugging Face 每日精選論文
方法
FrameForge 透過輸入自適應的虛擬時間關係（input-adaptive virtual temporal relations）來建模條件生成，包含兩個互補機制。首先是時間專家混合模型（Mixture of Temporal Experts, MoTE，透過動態選擇不同虛擬間隔的時間旋轉位置編碼專家來建模距離），它透過動態選擇具有不同虛擬間隔的時間旋轉位置編碼（temporal RoPE）專家，來建模目標與條件之間的距離。其次是時間推理鏈（Chain of Temporal Reasoning, CoTR，透過潛在中間狀態與推理瓶頸注意力遮罩來建模轉換過程），它透過潛在中間狀態來建模條件如何轉換為目標，並使用推理瓶頸注意力遮罩（reasoning-bottleneck attention mask）鼓勵資訊沿此路徑傳播。 Hugging Face 每日精選論文
結果
在 DreamBench、COCO2017 和 GEdit-Bench 的實驗中，FrameForge 在比較方法中展現出優異的效能。具體而言，它在主題驅動生成（subject-driven generation）、Canny 邊緣圖轉影像（canny-to-image generation）以及影像編輯任務中，表現優於其他被比較的方法。 Hugging Face 每日精選論文
程式碼與資料
本站 2026-11-03 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：
- 研究機構（Hugging Face 標示）：FrameX-AI
- 程式碼：Lyne1/FrameForge｜3 顆星｜最後更新 2026-10-28｜授權 未標示
- 專案網頁：https://lyne1.github.io/FrameForge-page/
- 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集