DeepLethe 發布 FDE-Gym：95 個任務測試 AI 解決模糊需求

研究在做什麼

現有的 AI 代理基準測試通常評估定義明確的任務，但真實世界的客戶交付不同：前線部署工程師（Forward-Deployed Engineers, FDEs）必須釐清模糊需求、在運行中的系統工作，並發現未明說的約束。研究機構 DeepLethe 推出 FDE-Gym，這是一個包含 95 個端到端交付任務的基準測試，涵蓋 18 個產業的 20 個客戶情境，每個任務都由行業專家根據真實交付專案調整而成。 Hugging Face 每日精選論文

方法

在模擬的客戶環境中，代理程式與腳本化的利益相關者互動，並在類似生產環境的系統上操作以交付可行方案。FDE-Gym 根據對客戶自身成功指標的改善程度來評分，分數正規化在 0（系統未改變）到 1（參考解決方案）之間，並對利益相關者互動（訊息、試運行和等待時間）進行懲罰。研究評估了來自七家提供商的 13 種模型配置。 Hugging Face 每日精選論文

結果

在需要發現未明說約束的真實情境中，最佳配置的平均 FDE-Gym 得分為 0.56，僅解決了 95 個任務中的 14 個（定義為得分至少 0.8 且無事故）。發現未明說約束是主要瓶頸：當模型必須在沒有明確指導的情況下發現這些約束時，表現急劇下降。然而，僅靠資訊發現無法解釋差距：即使在最佳配置從利益相關者那裡獲得所有關鍵事實的 23 個任務中，它也只在 10 個任務上達到 0.8 或以上的正規化業務提升。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-18 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：DeepLethe
• 程式碼：deeplethe/fde-gym｜102 顆星｜最後更新 2026-10-16｜授權 Apache-2.0
• 專案網頁：https://fde-gym.com/paper
• 公開資料集：DeepLethe/FDE-Gym
• 線上展示：tardellirs/paper-pulse