背景
在 AI 代理（Agent）開發中，Harness（代理執行框架）負責管理模型與外部工具的互動、狀態維護及安全限制。社群資源如 awesome-agent-harness 追蹤了近 200 種 Harness，指出框架選擇對最終效能的影響往往大於模型本身。例如，同一個 GLM-5.2 模型在更換 Harness 後，於 SWE-bench Pro 的得分從 23% 提升至 52%。 官方原文・Hugging Face Blog
發生什麼事
IBM 於 2026 年 11 月 3 日發布文章，比較其開源框架 CUGA（ConfigUrable Generalist Agent）與 Nous Research 的 Hermes、LangChain 的 Deep Agents。測試使用相同的開放權重模型 GLM-5.3-flash，在 AppWorld 基準測試的 90 個任務中進行評估。結果顯示，僅更換 Harness 使得任務完成率從 30% 變化至 81%。 官方原文・Hugging Face Blog
重點內容
評估使用 Harbor 框架執行，所有 Harness 均針對 AppWorld 的 9 個應用程式與 457 個 API 進行配置。CUGA 採用任務分解、執行前驗證及自動反思機制；Hermes 使用預設配置透過 MCP（模型上下文協議，讓模型與外部工具溝通的標準）連接工具；Deep Agents 則配置了工具選擇、上下文摘要及重試機制。在衡量一致性的 SGC（Scenario Group Consistency，三個變體皆通過的場景數）指標上，CUGA 通過 20 個場景，Hermes 為 8 個，Deep Agents 僅 2 個。 官方原文・Hugging Face Blog
CUGA 的核心優勢在於將業務規則從提示詞（Prompt）移至 Harness 層強制執行。其政策層包含 Intent Guard（意圖防護，攔截危險請求）、Playbook（標準作業程序）、Tool Approval（工具審批，需人工核准）及 ToolGuard（工具防護，執行前硬性檢查）。例如，ToolGuard 可阻止超過 1,000 美元的支付呼叫，無論模型如何決策，該規則均由執行時環境強制生效。 原文
對使用者的意義
CUGA 適用於需要在 CRM、支付等商業系統間自動化工作，且必須嚴格遵守內部規則的企業場景。它支援開放權重或託管模型，可部署於本地、Kubernetes、主權雲或離線（air-gapped）環境，並採用 Apache 2.0 授權。使用者可透過 UI 或 SDK 設定工具、預算與政策，無需修改程式碼即可發布版本。 官方原文・Hugging Face Blog
限制與未定事項
此次比較僅基於 90 個任務的單一基準測試，結果可能無法泛化至其他任務類型。各 Harness 的配置並非完全相同，且測試未啟用政策功能，因此未測量政策強制執行的效能影響。此外，AppWorld 為消費級應用模擬，僅作為企業自動化能力的代理指標。 官方原文・Hugging Face Blog
接下來要看的事
- Harbor 評估框架的具體技術架構與開源狀態
- CUGA 政策層在實際生產環境中的延遲影響
- 其他 Harness 針對企業級規則強制執行的解決方案比較
