Nanyang Technological University 提出 FocusGUI 提升 GUI 代理效能

研究在做什麼

Nanyang Technological University 的研究團隊指出，圖形使用者介面（GUI）代理日益依賴跨越截圖、音訊、影片、互動歷史與裝置狀態的流式全模態觀察。然而，在每一步驟中均勻暴露完整上下文會忽略相關性具有暫時性和稀疏性的事實，導致決定當前行動的信號在下一步變成干擾。由於執行的行動會回饋到上下文中，這些錯誤會累積成「序列干擾」（Sequential Distraction），使代理陷入不可逆的軌跡漂移。研究將此需求定義為「聚焦感知」（Focused Perception），即一種步驟適應性、行動充分且無侵入性的表示方法。 Hugging Face 每日精選論文

方法

研究實現了 FocusGUI，這是一個輕量適配器，能根據特定步驟的決策參考動態優先處理多模態通道。它不統一處理所有輸入，而是將最相關的證據壓縮為緊湊的潛變量，並微妙地注入到凍結解碼器的嵌入中，在不改變原生參數空間的情況下引導模型注意力。FocusGUI 僅從行動監督中訓練，不需要模態相關性標籤或主幹微調。 Hugging Face 每日精選論文

結果

在四個全模態主幹上，FocusGUI 平均將整體 Type Match 提升 +33.2，Exact Match 提升 3.0 倍（相對於凍結主幹），並比現有增強方法中表現最佳者的 Type Match 高出 +30.1。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-22 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：Nanyang Technological University
• 程式碼：fyzhang1/FocusGUI｜12 顆星｜最後更新 2026-10-20｜授權 未標示
• 專案網頁：https://fyzhang1.github.io/FocusGUI/
• 線上展示：tardellirs/paper-pulse
• 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集