PDRVLA 模型結合物理動態表示提升機器人控制成功率

研究在做什麼

視覺-語言-動作（Vision-Language-Action，VLA）模型能從視覺觀察和語言指令生成機器人動作，但其對物理動態的理解仍然有限。另一方面，影片世界模型（Video world models）雖然能捕捉場景動態，但生成未來影片會為控制迴路帶來高延遲。PDRVLA 旨在解決這個問題，透過提取物理動態表示來輔助動作生成，同時避免線上影片生成造成的延遲。 Hugging Face 每日精選論文

方法

PDRVLA 包含一個輕量級的物理動態模組（Physical Dynamics Module），該模組從視覺-語言特徵中提取物理 token（物理代幣，代表物理狀態的向量），用以條件化動作生成，而不需要進行線上影片生成。該模組透過直接預測未來的 RGB（色彩）、深度和光流特徵來學習，並利用一個凍結的預訓練影片世界模型提供輔助監督。訓練資料完全來自公開可用的數據，並透過人機合成（human-to-robot synthesis）、子任務標註以及具身思維鏈（Embodied Chain-of-Thought，ECoT，一種讓模型逐步推理的標註方式）標註進行擴充。 Hugging Face 每日精選論文

結果

在四個模擬基準測試中，PDRVLA 取得了顯著的成功率：在 LIBERO 上達到 99.3%，在 LIBERO-Plus 上達到 89.9%，在 RoboTwin 2.0 上達到 93.6%，以及在 SimplerEnv 上達到 81.5%。消融實驗（Ablations，移除部分模組以評估其貢獻的實驗）顯示，世界模型監督能改善未來預測，並評估了子任務條件化、未來物體姿態監督以及 ECoT 訓練對動作成功率的影響。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-28 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 程式碼：論文頁沒有列出公開的程式碼
• 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集