HKUST 團隊發布 OR-License：31 個真實案例測試 LLM 代理運算研究能力

研究在做什麼

由 HKUST Data Science & Artificial Intelligence Lab 提出的 OR-License 旨在解決現有運算研究（Operations Research, OR）基準測試的不足。傳統基準通常提供自包含的描述或預定義的優化任務，未能充分反映將原始商業資料轉化為專業驗證解決方案的過程。本研究關注大型語言模型（LLM）代理能否直接從原始客戶材料中提供專家級別的 OR 解決方案，而無需事先由專家進行重構。 Hugging Face 每日精選論文

方法

OR-License 包含 10 個工業場景下的 31 個實例，這些案例源自總計 USD 3.68 million 的付費 OR 專案。基準保留了去識別化後的原始需求、輸入資料、交付格式及資訊邊界。為了研究資訊獲取過程，研究引入了 ORSim（一個受控客戶模擬器），它在不提供 OR 專業知識的情況下披露商業事實。評估採用「部署調整品質」（Deployment-Adjusted Quality, DAQ）指標，該指標平均計算各實例相對於專家的品質，並將不可行交付設為零分。研究使用編碼代理框架（coding-agent harnesses）測試了 11 個前沿 LLM。 Hugging Face 每日精選論文

結果

在條件目標品質方面，部分模型超過專家參考基準，但沒有任何模型達到專家的 DAQ 分數。主要 Claude Code 配置中表現最佳者實現了 88.39% 的嚴格可行性，DAQ 為 0.87，而專家參考值為 1。軌跡分析顯示，失敗主要發生在問題公式化與實施階段。在可評估任務中，各模型的任務均衡研究鏈完成率介於 24% 至 45% 之間。此外，客戶資訊獲取不僅限於澄清需求，還延伸至解決方案開發與驗證階段，部分後續階段顯示出較高的已確認問題解決比例。 Hugging Face 每日精選論文

限制

本研究僅在 11 個前沿 LLM 上使用編碼代理框架進行測試，且評估基於 31 個特定工業場景的實例。研究指出，可靠的長程代理需要持續解決資訊差距、忠實的問題公式化以及與證據連結的自我改進，暗示當前模型在這些方面仍有不足。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-21 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：Data Science & Artificial Intelligence Lab at HKUST
• 程式碼：NineAbyss/OR-License｜3 顆星｜最後更新 2026-10-20｜授權 Apache-2.0
• 專案網頁：https://www.or-license.com/
• 公開資料集：OR-License/OR-License
• 線上展示：tardellirs/paper-pulse