背景
Amazon Bedrock AgentCore 是一個框架與模型無關的基礎設施，旨在協助開發者安全且大規模地部署 AI 代理（AI agents）。其評估功能（Evaluations）允許開發者在代理生命週期的各個階段進行評分，包括開發期間的按需評估、針對儲存會話的批次評估，以及針對生產流量的線上評估。除了內建的 15 種評估器外，AgentCore 也支援自訂評估器，可定義為 LLM-as-a-judge（以大型語言模型作為裁判）或基於程式碼的評估器（code-based evaluator，在 AWS Lambda 函數中執行自訂邏輯）。 AWS ML Blog 官方原文・github.com 原文
發生什麼事
Amazon Bedrock AgentCore 評估功能支援決策模型（decision models，從固定選項中選擇並回傳校準機率的模型）。開發者可透過基於程式碼的評估器，連接兩種決策模型：由 TypeSafe 提供的託管決策模型 Jev，以及由 Strands Agents 團隊開發的開源 20 億參數決策模型 Strands Decider 2B。 AWS ML Blog 官方原文・github.com
重點內容
決策模型是一種小型專用模型，經過訓練以從固定選項集中選擇並回傳校準後的信心分數，而非生成自由格式的文字。與內建的 LLM-as-a-judge 評估器相比，決策模型的回傳延遲約為 100 至 200 毫秒，遠低於 LLM 推論的 2 至 10 秒，且成本更低。Jev 和 Strands Decider 2B 均支援三種問題類型：是非題（noul question，回傳 0 到 1 之間的機率）、選擇題（choice question，從最多 255 個選項中選擇）以及分數題（score question，從 2 到 10 個有序等級中選擇）。 AWS ML Blog 官方原文・github.com
在技術實作上，決策模型評估器透過 AWS Lambda 函數運作。以 Strands Decider 2B 為例，開發者可選擇自行託管模型伺服器，或使用 --decider-ec2 參數自動佈建 EC2 執行個體、安全性群組、IAM 角色及 Lambda VPC 設定。Jev 則需透過 TypeSafe API 金鑰存取，對話資料會傳送至 TypeSafe 的 API。評估器可設定為 TRACE 層級（針對單一代理回應）或 SESSION 層級（針對整個對話會話），並可與內建評估器混合使用，形成級聯（cascade，決策模型作為低成本的第一道篩選閘門，僅將信心分數低於閾值的會話升級至更昂貴的內建 LLM 評估器進行詳細解釋）評估模式。 AWS ML Blog 官方原文・github.com
對使用者的意義
開發者可使用 AgentCore CLI（命令列介面，用打字下指令操作電腦的方式）版本 0.30.0 來建立、開發和部署代理。透過 agentcore add evaluator 指令註冊評估器，並使用 agentcore run eval 執行評估。此功能適合需要對大量代理互動進行低成本篩選的場景，例如檢查代理是否拒絕請求、回應是否偏離主題或工具呼叫是否安全。開發者需具備 AWS 帳號、Node.js 20.x 或更高版本，以及 Python 3.12 或更高版本（若使用 Python 代理）。 AWS ML Blog 官方原文・github.com
限制與未定事項
決策模型並非內建 LLM 評估器的替代品，而是補充工具，適用於狹隘且定義明確的檢查。Jev 為託管服務，需支付 API 費用；Strands Decider 2B 為開源模型，需自行託管並承擔計算資源成本。使用 Jev 時，對話資料會傳送至 TypeSafe 的 API。 AWS ML Blog 官方原文・github.com
接下來要看的事
- 決策模型在特定領域（如醫療、法律）的評估準確率與內建 LLM 評估器的比較數據
- Strands Decider 2B 在本地託管時的硬體需求與效能基準測試
- Jev 與 Strands Decider 2B 在處理多語言代理互動時的表現差異
