研究在做什麼
電腦使用代理(Computer-use Agents, CUAs)的發展目前受限於互動資料的多樣性、可控性與可靠性不足。傳統最佳化流程缺乏迭代回饋,而現有的遞迴改進方法往往依賴模型自我生成的經驗,這限制了能力的擴展並導致邊際效益遞減。為了解決這些挑戰,研究團隊提出了 CUA-Master,這是一個嵌套的雙迴圈遞迴改進框架。 Hugging Face 每日精選論文
方法
CUA-Master 在系統層級採用外層世界-資料-模型飛輪(outer world-data-model flywheel,透過納入開放世界語料並利用模型弱點來指導資料建構與最佳化迭代的機制),持續納入開放世界語料,並利用模型不斷演變的弱點來指導後續的資料建構與最佳化迭代。在資料層級,則透過內層飛輪結合「開放世界種子」與「自動催化傳播」。前者從教學影片中挖掘真實工作流程作為種子任務,並使用視覺-語義雙路徑軌跡重建(visual-semantic dual-path trajectory reconstruction,結合視覺與語義資訊來重建操作軌跡的技術);後者將這些種子轉化為可重複使用的原語,以可控地合成多樣、複雜且可驗證的任務。此外,為了在真實環境中高效且可靠地收集軌跡,研究還引入了反饋導向的快照回滾重試機制(feedback-guided snapshot-rollback retry mechanism,在真實環境中透過快照回滾與重試來確保軌跡收集效率與可靠性的機制)。 Hugging Face 每日精選論文
結果
實驗顯示,CUA-Master-27B 模型在僅圖形介面(GUI-only)以及圖形介面與命令列混合(GUI-CLI hybrid)的基準測試中,展現出具有競爭力的效能。具體分數包括在 OSWorld Verified 獲得 80.2 分,在 OSWorld 2.0 獲得 36.9 分,在 WeaveBench 獲得 43.9 分,以及在 Agents' Last Exam 獲得 25.0 分。該框架不僅顯著提升了資料合成的品質與效率,還在遞迴迭代過程中展現出持續的效能增益。 Hugging Face 每日精選論文
程式碼與資料
本站 2026-11-03 整理(資料來自 Hugging Face 論文頁與 GitHub,由程式查詢,不經模型撰寫):
- 程式碼:xlyu0106/CUA-Master|95 顆星|最後更新 2026-11-03|授權 未標示
- 專案網頁:https://xlyu0106.github.io/CUA-Master/
- 公開模型:yxl66666/CUAMaster-27B