LGWM 世界模型以向量比對驗證 GUI 代理轉場安全

研究在做什麼

GUI 代理（Graphical User Interface Agent，能操作圖形介面執行任務的 AI）的安全性取決於「轉場」而非單一畫面。例如點擊「登入」後出現登入畫面是正常的，但點擊「查看訂單」後出現同樣的登入畫面則可能是攻擊。現有方法若只檢查畫面內容，容易被重複使用合法畫面所欺騙。為了判斷轉場是否安全，系統需要知道「執行動作後應該出現什麼畫面」。現有的 GUI 世界模型（World Model，能模擬環境狀態變化的模型）雖然能提供預期，但輸出的是文字、程式碼或圖片，還需要另一個模型來比對預期與實際畫面，增加了複雜度與延遲。 Hugging Face 每日精選論文

方法

研究團隊提出 LGWM，這是一種免解碼器（decoder-free）、以動作為條件的世界模型。LGWM 不生成具體的畫面影像，而是直接在觀測資料被編碼的「表徵空間」（representation space，將複雜資料轉換為向量數值的空間）中，預測下一個畫面的表徵向量。該模型在 1.85M 筆真實 GUI 轉場資料上訓練，無需語意標註。驗證過程簡化為向量比對，系統透過比較預測向量與實際觀測向量來判斷轉場是否符合預期，並利用殘差方向（residual direction，預測與實際之間的差異向量）來區分違規行為是否有害。 Hugging Face 每日精選論文

結果

在 RSWT-BENCH 基準測試中，LGWM 達到 0.987 AUC（Area Under the Curve，衡量分類器效能的指標，越接近 1 越好），每次決策僅需 17 毫秒。這個效能與表現最佳的閉源 VLM（Vision-Language Model，視覺語言模型）相當，但比生成式 GUI 世界模型高出約 10 個 AUC 點，且延遲低了三個數量級以上。在區分有害違規與良性違規的任務中，LGWM 的殘差方向達到 0.953 AUC，而使用提示詞（prompt）的 VLM 在此任務上表現接近隨機猜測。分析顯示，LGWM 的預測結果代表可用的未來狀態，而非單純的異常分數。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-25 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 程式碼：jiamingzhang94/lgwm｜3 顆星｜最後更新 2026-10-10｜授權 Apache-2.0
• 專案網頁：https://jiamingzhang.netlify.app/lgwm/
• 公開模型：jiamingzz/lgwm
• 公開資料集：jiamingzz/lgwm-data
• 線上展示：tardellirs/paper-pulse