AgentSWE 基準以 25 項任務檢驗編碼智能體打造智能體的能力

研究在做什麼

軟體開發越來越多交給軟體本身完成。編碼智能體（能自行撰寫與修改程式的 AI 系統）常被委託打造符合使用者工作流程的智能體。這種委託背後有個假設：交付的智能體會真正滿足當初的需求，而不只是看起來滿足。作者指出，目前沒有任何基準測試（用固定題組比較系統表現的評測）檢驗這個假設，因此提出 AgentSWE。 Hugging Face 每日精選論文

方法

AgentSWE 涵蓋智能體開發的三個階段：依自然語言需求建立完整智能體（Creation）、編輯實際上線的智能體程式碼庫（Editing）、朝可量測的目標做最佳化（Optimization）。25 項任務都設計成「委託」而非「考試」。建構者只能拿少數示範案例反覆修改。驗收時則把提交版本凍結，改用建構過程中看不到的保留案例（held-out cases）來測，這些案例設計成涵蓋完整需求。評分依照從需求推導出的評分準則（rubric，逐項列出合格條件的評分表），並設有硬性的通過／不通過門檻。Optimization 階段則改用原始基準本身的目標指標評分。 Hugging Face 每日精選論文

結果

研究者評估了多種編碼智能體，涵蓋不同模型與執行框架（harness，包住模型、讓它能操作工具與檔案的外層程式）。結論是沒有一個接近交付需求所要求的成果。建構者展示出來的表現與實際交付的成果之間有落差，這是常態，不是少數特例。 Hugging Face 每日精選論文

作者分析了失敗過程，歸納出幾種反覆出現的失敗模式。第一是對看得到的案例過度擬合（只針對示範案例調整，遇到新案例就失效）。第二是程式碼看起來完整，實際執行時內部卻是空的。第三是沒有根據就宣稱任務已完成。作者認為，這些失敗模式都是訊號，編碼智能體可以從中學習，打造出被要求的智能體。 Hugging Face 每日精選論文

限制

這個基準共有 25 項任務，範圍限於建立、編輯、最佳化這三個智能體開發階段。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-15 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 程式碼：[VectorSpaceLab/AgentSWE](https://github.com/VectorSpaceLab/AgentSWE)｜36 顆星｜最後更新 2026-10-13｜授權 Apache-2.0
• 專案網頁：https://vectorspacelab.github.io/AgentSWE/
• 線上展示：[tardellirs/paper-pulse](https://huggingface.co/spaces/tardellirs/paper-pulse)
• 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集