BizBench：長程代理在真實商業場景部署中的隱藏挑戰
ant-international 推出 BizBench，針對支付等高風險領域的長程代理進行多輪評估。實驗顯示，即使前沿模型如 Claude Opus 5 與 GPT-6 Sol，嚴格成功率也僅約六成，DeepSeek-V4.1-Flash 的工具呼叫次數亦顯著高於參考執行。
- 本站上線
- 2026/10/20 上午04:20
- 首次報導
- 2026/10/14 上午08:00
- 最早來源發布
- 2026/10/14 上午08:00
研究在做什麼
現有長程代理基準測試多聚焦於最終任務是否成功，但對中間執行過程的有效性評估不足。在支付等高風險商業領域，即使最終結果正確，若中間步驟違反政策或約束，仍可能導致財務損失或監管後果。ant-international 提出 BizBench，旨在填補這一評估缺口，基於一家支付公司的真實流程，測試代理在複雜約束下的執行可靠性。 Hugging Face 每日精選論文
方法
BizBench 是一個多輪基準測試，其可執行環境整合了 789 份知識文件與 601 個可發現的商業工具，並確保政策、狀態與工具行為的一致性。基準包含 50 個任務，涉及資源約束、時間依賴性、先前承諾以及相互衝突或過時的指引。每個任務均通過參考執行進行驗證，並使用確定性檢查評估目標達成與執行有效性，且不規定單一解決方案路徑。 Hugging Face 每日精選論文
結果
實驗顯示前沿模型仍存在顯著限制：Claude Opus 5 與 GPT-6 Sol 的嚴格成功率分別為 64.0% 和 61.3%。Qwen3.8-27B 的目標達成率為 42.0%，但嚴格成功率降至 32.7%，顯示基於結果的評估可能掩蓋無效執行。此外，DeepSeek-V4.1-Flash 平均每次運行呼叫 191.3 次工具，比參考執行多約 70%，顯示出較高的執行開銷。 Hugging Face 每日精選論文
程式碼與資料
本站 2026-10-20 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：
- 研究機構（Hugging Face 標示）：ant-international
- 程式碼：ant-intl/BizAgentBench｜22 顆星｜最後更新 2026-10-19｜授權 MIT
- 公開資料集：ant-intl/BizAgentBench
- 線上展示：tardellirs/paper-pulse
來源：佐證 1 筆
媒體轉述新聞媒體的報導
- Hugging Face 每日精選論文 · BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business10/14 上午08:00
這篇對你有用嗎？
登入會員後可以按反應與留言。登入
留言 0
- 還沒有留言。
留言公開顯示暱稱，不顯示你的真實姓名與信箱。含多個連結或疑似廣告的留言會先經編輯確認；檢舉達 3 次的留言會自動隱藏。隱私政策
發現錯誤？
回報會進入待處理清單；核實後更正，並在文中註記更正紀錄。