地端模型天梯榜
本站用各家模型官方採用的公開 benchmark,在自家機器上實測可以下載到地端執行的模型。同一張榜上的模型都用同一組抽樣題目、同樣條件測試; 分數差距落在誤差範圍內就並列,不硬分高下。
第一級:本站實測|繁中能力(第 1 版,每個模型 2,242 題)
繁中知識(TMMLU+)、台灣法律、台灣在地知識(TTQA)、繁中閱讀理解(DRCD)、繁中多輪對話(MT-Bench 台灣版)
| 名次 | 模型 | 平均(95% 區間) | TMMLU+ | 台灣法律題 | TTQA(台灣在地知識) | DRCD(繁中閱讀理解) | MT-Bench 台灣版 |
|---|---|---|---|---|---|---|---|
| 1 | Llama-3-Taiwan 70B Instruct 紀錄台灣 Taiwan LLM(林彥廷)|Q4_K_M(本站量化) | 75.1 73~77 | 79.3 | 69.9 | 92.0 | 90.2 | 44.3 |
| 2 | Llama-3-Taiwan 8B Instruct 紀錄台灣 Taiwan LLM(林彥廷)|Q4_K_M(本站量化) | 61.1 59~63 | 56.1 | 42.6 | 84.1 | 86.0 | 36.8 |
| 3 | Breeze2 8B Instruct 紀錄台灣 聯發科創新基地|Q4_K_M(本站量化) | 55.6 53~58 | 46.8 | 37.8 | 78.8 | 76.8 | 38.1 |
| 4並列 | Breeze 7B Instruct v1.0 紀錄台灣 聯發科創新基地|Q4_K_M(本站量化) | 49.7 47~52 | 38.5 | 26.3 | 72.6 | 77.0 | 34.0 |
| 4並列 | Gemma-3-TAIDE 12B Chat(2602) 紀錄台灣 國家實驗研究院(TAIDE)|Q4_K_M(本站量化) | 49.3 47~52 | 62.3 | 19.1 | 78.8 | 42.6 | 43.8 |
| 4並列 | Llama-3.1-Taiwan 8B Instruct 紀錄台灣 Taiwan LLM(林彥廷)|Q4_K_M(本站量化) | 49.0 46~52 | 35.3 | 36.8 | 61.1 | 76.0 | 36.0 |
| 4並列 | Breeze2 3B Instruct 紀錄台灣 聯發科創新基地|Q4_K_M(本站量化) | 47.7 45~50 | 40.7 | 21.1 | 70.8 | 75.2 | 30.9 |
| 8 | Llama-3.1-TAIDE-LX 8B Chat 紀錄台灣 國家實驗研究院(TAIDE)|Q4_K_M(本站量化) | 39.2 37~41 | 40.3 | 5.7 | 71.7 | 43.2 | 34.9 |
怎麼排:平均=各項分數等權平均(0~100)。名次=1+「平均分數的 95% 信賴區間完全高於它」的模型數,所以差距不顯著的模型會並列。點模型名稱看逐題紀錄與測試條件。
條件:關閉思考模式、溫度 0、固定抽樣種子;每項抽樣部分題目,分數通常低於官方開思考時公布的數字,適合比較同一張榜上的模型。MT-Bench 台灣版由 Claude 評分,標準比原版 GPT-4 嚴。
權重來源:一律從模型官方 Hugging Face 頁面下載,本站自行量化(標示於模型下方),聊天格式與官方 tokenizer 逐 token 比對。
第二級:業者自報端點(籌備中)
沒有公開權重的模型,未來可由業者開放 API 端點給本站評測。本站無法確認端點背後是什麼模型,所以這一級會另外列表、標明「業者自報」,不與第一級混排; 業者日後公開權重、本站重跑對得上,就會移到第一級。