HexaShell：VLM 代理驅動雙臂機器人，42 項任務成功率 39.7%

研究在做什麼

HexaFuture 團隊提出 HexaShell，探討視覺語言模型（VLM）代理在控制實體機器人而非電腦時的極限。該框架旨在測試編碼代理能否透過撰寫程式碼來解決機器人操作任務，並觀察其在不同接觸類型任務上的表現差異。 Hugging Face 每日精選論文 官方原文・github.com

方法

系統採用輕量架構，僅將代理指令轉化為機器人動作。代理使用 Codex（搭配 GPT-6-Astra，中等推理力度），透過單一命令列、三組 RGB 相機影像及一頁手冊操作 RoboDojo 的雙臂 ARX X5 機器人。代理利用三角測量（Triangulation，即兩條相機射線交點或射線與已知平面交點）定位物體，不使用深度影像。失敗後，另一個同模型代理會閱讀日誌、找出原因並撰寫或修復小型 Python 工具程式，這些工具僅能使用機器人觀察到的資料。 Hugging Face 每日精選論文 官方原文・github.com

結果

在 42 項 RoboDojo 任務的新佈局（seed-0 layouts 10–19）測試中，整體成功率為 39.7%，進度分數為 48.0。各任務類型表現差異顯著：Memory 類任務成功率最高，達 65.0%；Pushing 類任務成功率為 92.5%；而 Tight insertion（緊密插入）類任務成功率僅 8.3%。開發佈局（seed-0 layouts 0–4）的整體成功率為 38.3%，進度分數 43.6。 官方原文・github.com Hugging Face 每日精選論文

限制

研究指出主要限制在於接觸（contact）而非推理：代理通常能看見失敗，但無法讓動作成功執行。在雜亂環境中，當桌上有 13 至 18 個額外物體時，HexaShell 保留了 95% 的成功率，因為工具僅測量代理指定的物體。 官方原文・github.com Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-20 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：HexaFuture
• 程式碼：HexaFuture/HexaShell｜30 顆星｜最後更新 2026-10-19｜授權 Apache-2.0
• 專案網頁：https://hexafuture.ai/home/
• 線上展示：tardellirs/paper-pulse
• 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集