地端模型天梯榜
本站用各家模型官方採用的公開 benchmark,在自家機器上實測可以下載到地端執行的模型。同一張榜上的模型都用同一組抽樣題目、同樣條件測試; 分數差距落在誤差範圍內就並列,不硬分高下。
第一級:本站實測|綜合評價(第 2 版,每個模型 252 題)
綜合知識(MMLU-Pro)、科學推理(GPQA Diamond)、聽懂指令(IFEval)、數學(MATH-500)、繁中知識(TMMLU+)、工具呼叫(BFCL)、程式(LiveCodeBench)
| 名次 | 模型 | 平均(95% 區間) | MMLU-Pro | GPQA Diamond | IFEval | MATH-500 | TMMLU+ | BFCL 單輪(non-live) | LiveCodeBench v6 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Llama-3-Taiwan 70B Instruct 紀錄台灣 Taiwan LLM(林彥廷)|Q4_K_M(本站量化) | 57.0 51~63 | 57.5 | 36.7 | 60.0 | 53.3 | 83.9 | 82.5 | 25.0 |
| 2並列 | Gemma-3-TAIDE 12B Chat(2602) 紀錄台灣 國家實驗研究院(TAIDE)|Q4_K_M(本站量化) | 40.7 35~47 | 22.5 | 23.3 | 47.5 | 70.0 | 65.1 | 40.0 | 16.7 |
| 2並列 | Breeze2 8B Instruct 紀錄台灣 聯發科創新基地|Q4_K_M(本站量化) | 38.5 32~45 | 47.5 | 30.0 | 55.0 | 43.3 | 42.3 | 35.0 | 16.7 |
| 2並列 | Breeze2 3B Instruct 紀錄台灣 聯發科創新基地|Q4_K_M(本站量化) | 38.4 32~44 | 37.5 | 23.3 | 37.5 | 40.0 | 38.5 | 75.0 | 16.7 |
| 2並列 | Llama-3.1-Taiwan 8B Instruct 紀錄台灣 Taiwan LLM(林彥廷)|Q4_K_M(本站量化) | 33.0 27~39 | 27.5 | 23.3 | 52.5 | 46.7 | 40.3 | 32.5 | 8.3 |
| 2並列 | Llama-3-Taiwan 8B Instruct 紀錄台灣 Taiwan LLM(林彥廷)|Q4_K_M(本站量化) | 33.0 27~39 | 37.5 | 20.0 | 40.0 | 43.3 | 49.0 | 32.5 | 8.3 |
| 2並列 | Breeze 7B Instruct v1.0 紀錄台灣 聯發科創新基地|Q4_K_M(本站量化) | 30.4 25~36 | 40.0 | 6.7 | 30.0 | 13.3 | 42.2 | 72.5 | 8.3 |
| 5 | Llama-3.1-TAIDE-LX 8B Chat 紀錄台灣 國家實驗研究院(TAIDE)|Q4_K_M(本站量化) | 26.0 21~31 | 12.5 | 20.0 | 37.5 | 30.0 | 41.9 | 40.0 | 0.0 |
怎麼排:平均=各項分數等權平均(0~100)。名次=1+「平均分數的 95% 信賴區間完全高於它」的模型數,所以差距不顯著的模型會並列。點模型名稱看逐題紀錄與測試條件。
條件:關閉思考模式、溫度 0、固定抽樣種子;每項抽樣部分題目,分數通常低於官方開思考時公布的數字,適合比較同一張榜上的模型。MT-Bench 台灣版由 Claude 評分,標準比原版 GPT-4 嚴。
權重來源:一律從模型官方 Hugging Face 頁面下載,本站自行量化(標示於模型下方),聊天格式與官方 tokenizer 逐 token 比對。
第二級:業者自報端點(籌備中)
沒有公開權重的模型,未來可由業者開放 API 端點給本站評測。本站無法確認端點背後是什麼模型,所以這一級會另外列表、標明「業者自報」,不與第一級混排; 業者日後公開權重、本站重跑對得上,就會移到第一級。