微軟與 Hugging Face 發布 ThinkingBox Training：以資料庫狀態為獎勵訓練代理模型

背景

ThinkingBox 是一個用於評估代理模型（Agent）的框架與基準測試集。ThinkingBox 透過檢查任務結束後資料庫的實際狀態來判斷對錯。這種「可執行的終端狀態檢查」不僅能作為評分標準，也能直接轉化為強化學習中的獎勵訊號，用於訓練模型。 官方原文・Hugging Face Blog 官方原文・github.com

發生什麼事

微軟（Microsoft）與 Hugging Face 發布了 ThinkingBox Training 專案，並開源於 GitHub。該專案旨在利用 ThinkingBox 框架中的可執行檢查結果作為獎勵，對代理模型進行後訓練（Post-training）。 官方原文・Hugging Face Blog 官方原文・github.com

重點內容

在 Qwen3.8-27B 模型的測試中，經過 50 步 GRPO（Group Relative Policy Optimization，一種強化學習演算法）訓練後，模型在 ThinkingBox-Bench 基準上的表現有所變化。平均成功率（pass@1）從 51.70% 提升至 60.78%。更關鍵的指標是「全數嘗試成功」（Observed 20/20），即 20 次重複測試中全部通過的任務數量，從原本的 38 個增加到 107 個。 官方原文・Hugging Face Blog 官方原文・github.com

訓練過程採用「離線策略相對難度」（Offline policy-relative difficulty）來篩選任務。系統會先讓基礎模型反覆嘗試候選任務，根據成功次數估算難度分佈，僅保留那些模型有時能解、有時不能解的任務進入訓練池。這種選擇確保了強化學習能從對比中學習，避免使用模型已完全掌握或完全無法解決的任務。 官方原文・Hugging Face Blog 官方原文・github.com

獎勵機制主要依賴確定性的資料庫狀態檢查，而非大型語言模型（LLM）的判斷。只有少數無法從資料庫狀態直接判斷的細微需求，才會呼叫配置的 LLM 評審（Judge）進行二元判斷。訓練環境包含一個模擬使用者（Simulated user），由 GPT-5 Chat 扮演，負責與代理互動但不參與評分。 官方原文・Hugging Face Blog 官方原文・github.com

對使用者的意義

該專案提供訓練代理模型處理有狀態業務流程的工具鏈。使用者需準備 NVIDIA GPU 硬體、Linux 環境以及符合 ThinkingBox 格式的任務資料集，並確保訓練資料與評估基準不相交。 官方原文・Hugging Face Blog 官方原文・github.com

限制與未定事項

該專案目前僅在 Linux 和 WSL 環境下測試，需要 Python 3.12 及相容的 CUDA/NCCL 堆疊。參考配置使用 3 節點共 24 張 H100 GPU。公開的樣本任務列表僅用於介面測試，並非報告結果所使用的 187 個私有訓練任務池。使用者需自行提供授權且與公共基準不相交的任務來源。 官方原文・Hugging Face Blog 官方原文・github.com