研究論文 #論文基準1 個來源Qwen3.8-Flash-Next-180B 撰寫

TraceTrial-Bench 基準測試：評估 AI 代理框架可靠性與失敗歸因

研究提出 TraceTrial-Bench，透過 95 個任務與 3,420 次執行，將 AI 代理框架的可靠性分為七個構面評估，並提供失敗歸因機制。

本文重點

研究提出 TraceTrial-Bench，透過 95 個任務與 3,420 次執行評估代理框架。
各框架宏平均可靠性分數介於 59.8% 至 72.0% 之間。
31.1% 的執行未通過框架標準，但仍成功完成任務。

本站上線: 2026/10/27 下午03:15
首次報導: 2026/10/26 下午12:00
最早來源發布: 2026/10/26 下午12:00

AI 摘要｜已與來源比對｜未經人工查核。本文由程式（Qwen3.8-Flash-Next-180B）讀取下列來源全文與官方原文後撰寫，每段後面的標籤是依據的來源，點擊即可開啟原文。程式會比對數字、版本與日期是否出現在來源中，但這不等於事實查核。內容怎麼產生、有什麼限制；發現錯誤請用文末的「回報」。

約 3 分鐘讀完段落：研究在做什麼·方法·結果·程式碼與資料

研究在做什麼

大型語言模型（LLM）代理在解決現實問題時，其效能不僅取決於底層模型，也依賴於支撐其運作的「代理框架」（harness，即管理代理執行環境、工具呼叫與生命週期的軟體架構）。現有的基準測試大多聚焦於模型能力或代理整體表現，較少針對代理框架本身進行評估。為填補此缺口，研究團隊提出了 TraceTrial-Bench，旨在建立一個可稽核且可重現的基礎，用於比較不同代理框架、診斷其失敗原因，並研究框架設計如何與模型行為互動。 arXiv cs.AI

方法

TraceTrial-Bench 將框架可靠性劃分為七個構面：上下文（context）、執行（execution）、治理（governance）、生命週期（lifecycle）、可觀測性（observability）、工具（tools）與驗證（verification）。研究團隊構建了 95 個專家級、機制導向的任務，這些任務具備可執行或基於狀態的標準答案（ground truth），以便在保留各框架原生行為的同時進行語義等價比較。此外，研究設計了「軌跡追蹤」（Trajectory Tracing, TT）模組來捕捉代理的執行痕跡，並引入一個兩層評估框架，分別評估代理表現與框架可靠性。為了輔助基於 LLM 的評估，還設計了「多源證據擷取」（Multi-source Evidence Acquisition, MEA）模組，從代理上下文、框架及執行環境中提供證據，並開發了「失敗歸因」（Failure Attribution, FA）模組，利用顯式的機制鏈在執行層級支持失敗原因的歸因。 arXiv cs.AI

結果

該研究在 4 個代理框架、9 個模型與 95 個任務的組合下，共執行了 3,420 次測試。結果顯示，各框架的宏平均（macro-averaged）可靠性分數介於 59.8% 至 72.0% 之間。此外，31.1% 的執行雖然未能通過至少一項框架可靠性標準，但仍成功完成了任務。 arXiv cs.AI