背景
Agent（能自行規劃步驟、呼叫工具完成任務的 AI 程式）如果要操作桌面應用程式，需要知道畫面上有哪些元件可以點。vercel-labs/agent-desktop 的專案說明表示，它透過 OS（作業系統）的無障礙樹狀結構（作業系統提供給輔助工具、用來描述畫面元件的資料結構）讀取應用程式真實的 UI（使用者介面）結構並進行操作，而不是從像素（畫面上的點）去猜。 GitHub 熱門專案
發生什麼事
這個專案是 GitHub 熱門專案榜上的項目。截至本站記錄時（2026 年 11 月 2 日），vercel-labs/agent-desktop 累計 7,720 顆星，一天內新增約 2,243 顆星。專案建立於 2026 年 2 月 19 日，主要語言是 Rust（一種程式語言），授權為 Apache-2.0（一種開源授權）。本次只有這一個來源，來源未說明星數快速成長的原因。 GitHub 熱門專案
重點內容
專案說明表示，它是給 macOS、Windows 和 Linux 使用的 CLI（命令列介面，用打字下指令操作電腦的方式）加 C library（C 語言函式庫，可被其他程式直接呼叫）。snapshot（畫面快照）會回傳 JSON（一種文字資料格式），裡面為 agent 可操作的每個元素附上 ref（元素的參照代碼）。agent 對某個 ref 下動作，再拍一次 snapshot 確認結果，專案說明指出這個迴圈留在使用者自己的 agent 裡。範例指令為 snapshot --app Finder -i、click @s8f3k2p9:e8，再重新 snapshot 驗證。 GitHub 熱門專案
ref 屬於產生它的那次 snapshot：單獨寫 @e8 會被以 INVALID_ARGS（參數無效的錯誤碼）拒絕；介面變動時，動作會回傳 STALE_REF（參照已過期的錯誤碼）或 AMBIGUOUS_TARGET（目標不明確的錯誤碼），這時要重拍 snapshot 並使用新的 ref。每個指令輸出一個含 ok 欄位的 JSON 封包，只有在 error.disposition.retry 為 safe 時才應重試。專案說明列出 60 個指令名稱，其中 56 個為可運作指令；key-down、key-up、mouse-down、mouse-up 四個在有 daemon（常駐背景程式）能釋放按住的按鍵或滑鼠按鈕之前，會拒絕執行。預設為 headless（不移動指標、不取得視窗焦點），加上全域旗標 --headed 才允許實體輸入。 原文
在 macOS 上，CLI 呼叫會依每個 snapshot 命名空間與二進位檔建置重用一個私有的 command host（指令代理程式），閒置 15 分鐘後結束；TMPDIR（暫存資料夾的環境變數）必須歸目前使用者所有且權限為 0700。每次發行也附帶 libagent_desktop_ffi，讓程式不必每個指令都啟動 CLI，而能在同一個程序內直接呼叫。 原文
對使用者的意義
對正在開發 agent、想讓它操作桌面應用程式的開發者，專案說明提供 npm（Node.js 的套件管理工具）安裝方式：npm install -g agent-desktop，再執行 agent-desktop version，套件含 x64 與 ARM64 的原生執行檔。macOS 需要 Accessibility 權限；Windows 對與終端機相同 integrity level（程序的權限完整性等級）的應用程式不需授權；Linux 需要使用者的圖形工作階段與 at-spi2-core（提供 AT-SPI 無障礙介面的系統套件）。要讓 agent 使用，可執行 agent-desktop skills get desktop，或用 npx skills add 安裝 skill（給 agent 載入的技能說明檔），也可在 AGENTS.md（放給 agent 讀的專案指示檔）加入使用說明。 GitHub 熱門專案
限制與未定事項
專案說明寫明，官方 Homebrew 與 Scoop 套件仍在送審，尚未進入預設目錄。平台表中，open-system-surface 在 macOS 標為 Planned（規劃中）。專案說明也提醒，snapshot、剪貼簿讀取、截圖與除錯檔可能含有私人桌面內容，應避免放進公開記錄或上傳；選用的 JEV helper（專案說明中與原生 CLI 分開的選用輔助工具）會把畫面描述送到已設定的模型供應商（model provider）。 GitHub 熱門專案