背景
電腦使用代理(Computer-use agents,CUAs)通常依賴螢幕截圖來理解介面,這會消耗大量 token(模型處理文字或圖片的最小單位),且透過滑鼠點擊來進行結構化檔案編輯效率較低。另一方面,若讓大型模型同時擁有圖形介面(GUI)與終端機工具,若缺乏最佳化的執行框架,模型可能無法有效選擇合適的操作通道。Mage-VL-Cowork 旨在解決此問題,它是一個結合視覺語言與程式碼執行能力的單一模型。 官方原文・github.com
發生什麼事
微軟 Mage 團隊發布了 Mage-VL-Cowork,這是一個 4B 參數的多模態混合電腦使用代理。該模型基於 Mage-VL-4B 檢查點,透過五階段的「先專精後統一」課程訓練而成。模型卡顯示,Mage-VL-Cowork 在 OSWorld-Verified 測試中達到 66.0% 的成績(發布者自報),並宣稱這是 4B 規模模型中的最佳表現。 官方原文・github.com
重點內容
Mage-VL-Cowork 的核心能力在於內部的通道路由。它不需要外部多代理路由器,而是動態選擇使用 computer_use(圖形介面操作,包含 11 種 GUI 原語)或 bash(持久化 Shell 與 Python 環境)。當任務涉及視覺佈局、畫布編輯或即時記憶體狀態時,模型選擇 GUI 操作;當任務涉及結構化程式編輯(如試算表、文件)或需要確定性驗證時,則切換至終端機指令。 官方原文・github.com
訓練過程採用了 Mage-CUA-Forge 合成引擎,該引擎透過可重用的工作流生成任務,將每個任務的生成成本降低了 82.6%(從 0.906 美元降至 0.158 美元)。此外,透過線上強化學習(Online Hybrid RL),模型在混合監督微調(Hybrid SFT)的基礎上提升了 10.16 個百分點,同時將平均模型呼叫次數減少 13.0%,輸出 token 數量減少 25.4%。 原文
在技術規格方面,Mage-VL-Cowork 使用 llava_onevision2 架構,結合 Mage-ViT 視覺編碼器與 Qwen3-4B 語言模型。其上下文長度為 32,768 tokens,並採用非對稱滑動視窗記憶機制,保留最近 3 張截圖與 4 個完整回應。模型權重大小為 9.48 GB(bfloat16 格式),授權條款為 Apache-2.0。 原文
對使用者的意義
開發者可以透過 Hugging Face 下載該模型,並使用 Transformers、vLLM 或 SGLang 等工具進行部署。由於模型採用自定義架構,載入時必須設定 trust_remote_code=True。微軟提供了預建置的 Docker 容器(xiaoyizhang/mage-vl-cowork:0.1.0),內含 SGLang 0.5.2 與 PyTorch 2.8.0+cu128 等依賴套件,方便使用者快速啟動推理服務。 官方原文・github.com Hugging Face 熱門模型
限制與未定事項
模型卡中提到的 66.0% OSWorld-Verified 成績為發布者自報數據,尚未經第三方獨立評測驗證。此外,模型使用自定義的多模態架構,不保證與標準 Qwen3-VL 類別的權重相容性,使用者需嚴格遵循官方提供的載入指令與系統提示詞以確保最佳效能。 官方原文・github.com
