DecisionPivot 基準揭示 LLM 決策模型在對比組準確率上的巨大差異

研究在做什麼

StartLux 提出 DecisionPivot，這是一個針對大型語言模型（LLM）系統中決策模型的診斷基準。決策模型在 LLM 系統中負責路由、護欄（guardrails，用於過濾或限制模型輸出的機制）以及輸出驗證。研究指出，僅憑單一項目準確率無法確認模型在受控變異下是否做出正確決策，也無法評估其預測置信度的可靠性。 Hugging Face 每日精選論文

方法

DecisionPivot 包含 48 個任務和 40,033 個項目，涵蓋七種決策角色。其核心軌道由 13 個生成任務家族的 7,800 個項目組成，這些項目被組織成對比組（contrast groups，即一組相關但答案不同的測試項目），並由獨立實作的求解器驗證計算答案。輔助的參考軌道則包含來自 35 個公開測試集的 32,233 個項目，保留其原始評估指標。研究團隊使用記錄在案的特定模型協議，評估了 40 個決策模型和 14 個通用模型，指標包括項目準確率、對比組準確率、機率排序、校準（calibration，預測機率與實際正確率的吻合程度）以及經驗性選擇性覆蓋率。 Hugging Face 每日精選論文

結果

結果顯示，聚合分數掩蓋了模型間的顯著差異。兩款 27B 參數規模的模型在參考軌道上僅相差 2.6 分，但其對比組準確率分別為 70.1% 和 44.2%。在 2,400 個二元對比對中，Perplexity Decider 能正確將正面成員排在負面成員之前的機率為 92.3%，但同時正確回答兩個成員的比例僅為 74.1%，這揭示了機率排序與決策正確性之間的落差。此外，具有相似項目準確率的模型在高置信度預測的可靠性上也有所不同。在一個獨立的 1,296 個項目子集上，GLM-5.3 在較高推理設定下達到 93.5% 的對比組準確率，而在最低努力設定下則為 81.5%。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-26 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：StartLux
• 程式碼：StartLuxLabs/DecisionPivot｜146 顆星｜最後更新 2026-10-21｜授權 Apache-2.0
• 公開資料集：startlux-models/DecisionPivot