Llama-3-Taiwan 70B Instruct｜繁中能力

正確率（4 選 1；各科→四大類→等權平均，同 iKala ievals）。預定 80 題；其中 1 題模型的回答格式不符官方規定，擷取不到答案，照官方規則算錯；95% 信賴區間 53.8～77.8，題數少時區間較寬，差距落在區間內不代表真的有差。

資料集

ikala/tmmluplus（v1.1 test） ・github.com

授權

MIT

與官方的差異

iKala 發布的台灣考試題，依 ievals subject.tsv 共 67 科（v1.1 已修正 197 題答案、移除 539 題）。提示與擷取照 iKala ievals 的 ChatGPT_Evaluator 零樣本（vendor/ievals @ d4d7a0658401）；計分：每科正確率 → 四大類（STEM／人文／社會科學／其他）取科目平均 → 四類等權平均。擷取前先去掉 Markdown 粗體「**」。官方 max_tokens=800，此處相同（偶有長推理被截斷而擷取不到，記錯）。各科等量分層抽樣（預設每科 1 題）（固定種子）；信賴區間為加權常態近似。關閉思考模式。與本站 aiwv/evals.py 的 TMMLU+ 跑法不同：那邊要求只回字母、取第一個字母；這裡照 ievals 原提示與擷取。

用量

受測模型輸入 15,713／輸出 5,731 token；耗時 20 分鐘

正確率（4 選 1，逐題平均）。預定 40 題；95% 信賴區間 49.5～77.9，題數少時區間較寬，差距落在區間內不代表真的有差。

資料集

lianghsun/tw-legal-benchmark-v1 ・huggingface.co

授權

Apache-2.0

與官方的差異

209 題台灣法律（專利法、民法、公司法、票據法、證交法等）律師／證照考試風格題。資料集 eval.yaml 指定 inspect-ai 的 multiple_choice（不 CoT）＋ choice 計分；提示模板與「ANSWER: X」解析直接取自 inspect-ai 原始碼（vendor/inspect_ai @ d5862e008bc1）。inspect-ai 預設不設輸出上限，此處 4096（模型常先推理再寫 ANSWER）。關閉思考模式。依約 40K 輸出 token 預算預設抽 42 題（全量 209 題可用 --n 0）。

用量

受測模型輸入 9,341／輸出 200 token；耗時 1 分鐘

正確率（4 選 1，逐題平均）。預定 40 題；95% 信賴區間 73.9～94.5，題數少時區間較寬，差距落在區間內不代表真的有差。

資料集

MediaTek-Research/TCEval-v2（tmmluplus-ttqav2） ・github.com

授權

未標示

與官方的差異

台灣在地用語、物產、地方知識題，test 共 113 題，預設全量。照 TCEval 的 API 模型跑法（vendor/TCEval @ d654deee1dfc，scripts/cal_likelihood_by_api.py）：只有 user 訊息、題目後接「Answer:」。官方用 logit_bias 限制只輸出一個選項字母，Ollama 沒有這個功能；聊天模型會先寫說明，所以改為生成（上限 1024 token）後用本站通用擷取（最後的「答案是 X」、開頭字母、或唯一提到的選項文字）。資料集卡未標示授權，題目不公開顯示。關閉思考模式。

用量

受測模型輸入 4,608／輸出 455 token；耗時 2 分鐘

完全相符 EM（答案須與任一參考答案一字不差）；另附字元 F1。預定 40 題；95% 信賴區間 77.0～96.0，題數少時區間較寬，差距落在區間內不代表真的有差。

完全相符（EM）

90.0

F1

97.3

資料集

MediaTek-Research/TCEval-v2（drcd） ・github.com

授權

未標示

與官方的差異

台達電閱讀理解資料集（維基百科段落＋問題，答案是段落中的片段），test 3,493 題、隨機抽樣（固定種子）。照 TCEval 修改版 lm-eval 的 drcd 任務（vendor/TCEval @ d654deee1dfc）：3-shot（dev 前 3 題，逐輪對話）、遇到換行停止，官方只報 EM；另附 SQuAD 式字元層級 F1（去標點與空白）供參考。資料集卡未標示授權，題目不公開顯示。關閉思考模式。

用量

受測模型輸入 67,055／輸出 240 token；耗時 2 分鐘

Claude 依 MT-Bench 官方單一評分提示詞給每輪 1–10 分，兩輪平均後除以 10。預定 16 題；95% 信賴區間 29.3～47.5，題數少時區間較寬，差距落在區間內不代表真的有差。

第一輪平均

4.81

第二輪平均

2.88

資料集

MediaTek-Research/TCEval-v2 ・github.com

授權

未標示

與官方的差異

八類各 10 題（共 80 題）依類別分層抽樣。關閉思考模式；溫度 0（MT-Bench 依官方類別溫度）、每題 1 次。每題兩輪對話，生成上限 1024 token（FastChat 預設）。裁判由 GPT-4 改為 Claude，沿用 FastChat single-v1／single-math-v1（數學、推理、程式附參考答案）與 multi-turn 版提示詞，評分改用結構化輸出（不再解析 [[rating]] 字串）；參考答案用 TCEval-v2 附的 reference（coding 有 1 題沒有參考答案，該題改用不附參考答案的 single-v1）。資料集未標示授權，不公開題目。

用量

受測模型輸入 7,970／輸出 6,371 token；Claude 裁判（claude-sonnet-5-5）37,010／10,601 token；耗時 22 分鐘