Llama-3-Taiwan 70B Instruct｜綜合評價

正確率（10 選 1，逐題平均；擷取失敗依官方隨機猜）。預定 40 題；其中 1 題模型的回答格式不符官方規定，擷取不到答案，照官方規則算錯；95% 信賴區間 42.2～71.5，題數少時區間較寬，差距落在區間內不代表真的有差。

資料集

TIGER-Lab/MMLU-Pro ・github.com

授權

MIT

與官方的差異

照官方 evaluate_from_api.py（vendor/MMLU-Pro @ f418b116db00）：5-shot CoT，提示「The answer is (X)」，官方三段式擷取；擷取失敗依官方隨機猜一個選項（本站用題號當種子，結果可重現）。官方 temperature=0、max_tokens=4000，此處相同。關閉思考模式（think=False），分數不能直接和官方開思考的數字比。抽樣：依類別題數比例分層抽樣（固定種子），總分為逐題平均（與官方 overall 同定義）。

用量

受測模型輸入 52,956／輸出 5,789 token；耗時 12 分鐘

正確率（4 選 1，逐題平均；擷取不到記錯）。預定 30 題；95% 信賴區間 21.9～54.5，題數少時區間較寬，差距落在區間內不代表真的有差。

資料集

Idavidrein/gpqa（gpqa_diamond） ・github.com

授權

CC BY 4.0（另有不得公開題目條款）

與官方的差異

198 題研究所程度物理／化學／生物題。依官方 baselines（vendor/gpqa @ 56686c06f5e1）：選項順序用 load_examples（seed=0，依 CSV 順序逐題打亂），提示用 zero_shot_chain_of_thought 兩段式（第一段產生推理、max_tokens=1000；第二段要答案），parse_sampled_answer 擷取，擷取不到記錯（關閉思考的模型第二段常又重新推理、被 1000 token 截斷而沒寫答案；官方最後一條正則「\((.)\)」也可能抓到推理裡第一個括號字母，皆照官方）。官方程式對第 69 題有「Choices too long」的特例，本站不沿用。關閉思考模式。依資料集條款不公開題目與答案，結果只顯示對錯。抽樣：依三大領域比例分層（固定種子）。

用量

受測模型輸入 25,889／輸出 14,184 token；耗時 26 分鐘

prompt-level strict 正確率（每題所有可驗證指令都遵守才算對；用 Google 官方檢查器）。預定 40 題；95% 信賴區間 44.6～73.7，題數少時區間較寬，差距落在區間內不代表真的有差。

指令層級（寬鬆）

73.9

指令層級（嚴格）

73.9

題目層級（寬鬆）

60.0

題目層級（嚴格）

60.0

資料集

google/IFEval ・github.com

授權

apache-2.0

與官方的差異

從 541 題隨機抽樣。關閉思考模式；溫度 0、每題 1 次。題目原文直接當使用者訊息送出（官方做法），不加系統提示。主分數為 prompt-level strict（每題所有指令都通過才算對），另附 prompt-level loose 與 instruction-level strict／loose。

用量

受測模型輸入 2,233／輸出 11,650 token；耗時 20 分鐘

答對率（math-verify 判斷最終答案與標準答案是否數學等價）。預定 30 題；95% 信賴區間 36.1～69.8，題數少時區間較寬，差距落在區間內不代表真的有差。

資料集

HuggingFaceH4/MATH-500 ・huggingface.co

授權

未標示

與官方的差異

從 500 題依難度 1–5 分層抽樣。關閉思考模式（官方排行榜多為開思考的推理模型），分數不能與官方排行榜直接比較；溫度 0、每題只取 1 次（官方多為取 4 次平均）。提示詞照資料集附的 eval.yaml；官方 inspect 設定用模型裁判比對，這裡改用 math-verify（HuggingFace 官方數學答案驗證器）比對，不使用裁判。資料集未標示授權，不公開題目。

用量

受測模型輸入 4,398／輸出 8,930 token；耗時 15 分鐘

正確率（4 選 1；各科→四大類→等權平均，同 iKala ievals）。預定 60 題；其中 1 題模型的回答格式不符官方規定，擷取不到答案，照官方規則算錯；95% 信賴區間 73.6～94.1，題數少時區間較寬，差距落在區間內不代表真的有差。

資料集

ikala/tmmluplus（v1.1 test） ・github.com

授權

MIT

與官方的差異

iKala 發布的台灣考試題，依 ievals subject.tsv 共 67 科（v1.1 已修正 197 題答案、移除 539 題）。提示與擷取照 iKala ievals 的 ChatGPT_Evaluator 零樣本（vendor/ievals @ d4d7a0658401）；計分：每科正確率 → 四大類（STEM／人文／社會科學／其他）取科目平均 → 四類等權平均。擷取前先去掉 Markdown 粗體「**」。官方 max_tokens=800，此處相同（偶有長推理被截斷而擷取不到，記錯）。各科等量分層抽樣（預設每科 1 題）（固定種子）；信賴區間為加權常態近似。關閉思考模式。與本站 aiwv/evals.py 的 TMMLU+ 跑法不同：那邊要求只回字母、取第一個字母；這裡照 ievals 原提示與擷取。

用量

受測模型輸入 11,385／輸出 2,386 token；耗時 5 分鐘

AST 正確率（函式名、參數、型別、值都要符合官方可接受答案；irrelevance 為不呼叫函式的比例）。預定 40 題；95% 信賴區間 68.0～91.3，題數少時區間較寬，差距落在區間內不代表真的有差。

資料集

gorilla-llm/Berkeley-Function-Calling-Leaderboard（bfcl-eval 2026.3.23，simple_python、simple_java、simple_javascript、multiple、parallel、parallel_multiple、irrelevance） ・gorilla.cs.berkeley.edu ・github.com

授權

Apache-2.0

與官方的差異

使用官方 bfcl-eval 2026.3.23（BFCL v4 資料檔，套件內附；與 HF 上 2024-09 的 v3 檔相比修正了部分標準答案，類別與題目相同）。推論用官方 OpenAICompletionsHandler 的訊息組裝、工具格式轉換（convert_to_tool）與解碼，prompt 模式用官方系統提示詞與 default_decode_ast_prompting；評分用官方 eval_runner 的單題評分函式（AST checker 等）。與官方不同：①傳輸層自寫——Ollama 走原生 /api/chat（為了指定 num_ctx、關閉思考），其他引擎走 OpenAI 相容 /v1；②受測模型關閉思考模式、temperature 0.001（官方 CLI 預設）、seed 42、單次回應最多 max_tokens；③分層抽樣（各類別平均抽）而非全部題目，總分為抽樣題目的平均（微平均），另附各類別等權平均（subset_macro）近似官方分類總分；④預設原生 FC 模式；端點不支援原生 tools 時自動改 prompt 模式，結果的 mode_used 會記錄；⑤推論時受測端點連線／伺服器錯誤（重試 4 次仍失敗）記為無效題、不計入總分（官方會算錯），n_invalid 會顯示。non-live 含 simple（python／java／javascript）、multiple、parallel、parallel_multiple（AST 比對）與 irrelevance（不該呼叫函式）。

用量

受測模型輸入 21,948／輸出 1,397 token；耗時 3 分鐘

pass@1（通過全部公開＋隱藏測資的比例）。預定 12 題；95% 信賴區間 8.9～53.2，題數少時區間較寬，差距落在區間內不代表真的有差。

資料集

livecodebench/code_generation_lite（release_v6，2025-02-01 之後的題，LeetCode／AtCoder） ・官方程式（commit 28fef95）

授權

CC（資料集卡標示；題目著作權屬 LeetCode／AtCoder 等原平台）

與官方的差異

提示詞（OpenAIChat 樣式：系統訊息＋### Question／### Format）、程式碼擷取（最後一個 ``` 區塊）、測資判定（每筆測資 6 秒、全題總時限＝(6+1)×測資數+5 秒）皆直接呼叫官方 lcb_runner。與官方不同：① 官方預設每題取樣 10 次（temperature 0.2）估 pass@1，本站每題 1 次、temperature 0；② 關閉思考模式（官方模型卡多為開思考的分數，不能直接比）；③ max_tokens 6144（官方 CLI 預設 2000；本模型關閉思考後仍常先寫長篇推理，放寬以免程式碼被截斷；超過上限沒產出程式碼即算錯）；④ 依難度分層抽樣（easy／medium／hard 各 1/3；預設 18 題＝各 6 題，約為 25 tok/s 機器 45 分鐘的量），而官方全集 hard 比例較高（約 47%），所以分數通常會比全集高；⑤ 程式在 docker 沙箱內執行（--network none、唯讀根目錄、非 root、1 CPU、4 GB 記憶體、256 行程、單題外層時限）。題目著作權屬原平台，結果不公開題目與測資原文。

用量

受測模型輸入 7,557／輸出 2,778 token；耗時 6 分鐘