UCSD 團隊 ACT3D：VLM 在 3D 環境主動探索，準確率 53.2%

研究在做什麼

加州大學聖地牙哥分校（University of California at San Diego）的研究團隊探討視覺語言模型（VLMs）如何學習在 3D 空間中思考與主動探索。傳統方法通常提供多視角圖像、影片或 3D 表示給模型，但本研究保留 VLM 原生的視覺編碼方式，即每次只處理單張圖像，類似人類視覺體驗。3D 表示僅作為環境存在，模型透過動作（如向左移動）與觀察（渲染圖像）進行互動。 Hugging Face 每日精選論文

方法

模型從第一人稱視角與視覺問題開始，可迭代推理、導航並調整視角後再給出最終答案。訓練過程先進行軌道監督微調，接著應用以最終答案正確性為主要獎勵的強化學習（RL）。關鍵在於，RL 不直接監督模型應訪問哪些視角或採取哪些探索動作，模型必須僅從互動對績效的提升程度中學習有效的探索策略。 Hugging Face 每日精選論文

結果

在六個 3D 基準測試中，ACT3D 達到 53.2% 的平均準確率，比其基礎 Qwen 模型提升 22.0%，並超越專有模型 Gemini 3.6 Flash。ACT3D 也優於現有開源 3D 方法，同時使用少 50-70% 的輸入幀數。在泛化驗證方面，ACT3D 在未見領域上相較於其監督初始化平均提升 5.9%。 Hugging Face 每日精選論文

進一步分析顯示模型具有適應性、問題條件化的探索能力。相較於基礎模型的績效增益，從可從初始視角回答的問題上的 0.6%，增加到需要大量探索的問題上的 16.3%。ACT3D 能搜尋被遮擋的目標、避免不必要的探索，並為空間比較獲取互補視角。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-20 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：University of California at San Diego
• 程式碼：論文頁沒有列出公開的程式碼
• 專案網頁：https://williamium3000.github.io/act3d/
• 線上展示：tardellirs/paper-pulse
• 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集