研究：多元虛擬世界持續預訓練對具身智能體影響

研究在做什麼

一項發表於 2026 年 10 月 20 日的研究探討在虛擬世界中，資料規模、多樣性與模型容量是否像實體環境一樣，能提升具身智能體（Embodied Agents，能感知環境並採取行動的 AI 系統）的學習效果。過去在實體環境中，這些因素已被證明能帶來改善，但虛擬世界具有不同的視覺風格、動態、控制方式與目標，其效益是否延伸尚不清楚。 arXiv cs.AI

方法

研究團隊透過受控實驗，針對持續預訓練（CPT，Continued Pre-Training，在已有模型基礎上繼續訓練以適應新資料）進行測試，涵蓋三個軸線：資料量、多樣性與模型大小。實驗共包含 120 種訓練配置，模型規模從 0.8B 到 27B（參數數量），資料預算從 50 小時到 1,600 小時不等。資料混合比例從僅使用 Minecraft 資料，到包含多種虛擬世界的多元語料庫。評估方式包括三層驗證損失（validation losses，衡量模型預測準確度的指標）以及從訓練資料內世界到未見世界的遊戲基準測試。 arXiv cs.AI

結果

結果顯示，更多資料能改善訓練資料內世界的表現，資料多樣性有助於遷移到相關世界，但在遠端世界（distant worlds，與訓練資料差異較大的世界）的增益有限。模型規模增大能提升資料效率，但在單一世界訓練下，對遠端世界的泛化能力較差。研究觀察到早期存在一個「介面階段」（interface phase），帶來廣泛的跨世界效益，而後期進入「世界階段」（world phase），增益縮小至訓練資料內及相關世界。研究還擬合了一個經驗縮放定律，將驗證損失與資料量、多樣性及模型大小關聯起來。 arXiv cs.AI

在 3D 世界中，這些模型與 Minecraft 專用模型及前沿模型（frontier models，目前最先進的模型）表現相當，並在即時設定中表現最佳。然而，模仿學習（imitation learning，透過觀察人類或其他智能體的行為來學習）的局限性，以及遠端世界中持續存在的差距，表明要構建通用的具身智能體，需要超越持續預訓練的更豐富訓練階段。 原文

限制

研究指出，僅靠持續預訓練在遠端世界存在持續差距，且模仿學習本身有其局限性，這暗示了單一階段的預訓練不足以構建完全通用的具身智能體。 arXiv cs.AI

接下來要看的事

• 是否有後續研究提出超越持續預訓練的具體訓練階段？
• 遠端世界（distant worlds）的具體定義與評估基準細節為何？
• 經驗縮放定律的具體公式與參數為何？

程式碼與資料

本站 2026-10-26 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：Tsinghua Spatial Intelligence Lab
• 程式碼：THUSI-Lab/GameScaling｜382 顆星｜最後更新 2026-10-22｜授權 Apache-2.0
• 專案網頁：https://gamescaling.github.io
• 公開模型：THUSI-Lab/GameScaling、THUSI-Lab/GameScaling-0.8B-S3、THUSI-Lab/GameScaling-27B-S3、THUSI-Lab/GameScaling-0.8B-S1
• 線上展示：THUSI-Lab/gamescaling