AI 新視界 AI WorldviewAI 新視界 AI Worldview
申請帳號 / 登入

← AI 實驗室

地端模型天梯榜

本站用各家模型官方採用的公開 benchmark,在自家機器上實測可以下載到地端執行的模型。同一張榜上的模型都用同一組抽樣題目、同樣條件測試; 分數差距落在誤差範圍內就並列,不硬分高下。

第一級:本站實測|繁中能力(第 1 版,每個模型 2,242 題)

繁中知識(TMMLU+)、台灣法律、台灣在地知識(TTQA)、繁中閱讀理解(DRCD)、繁中多輪對話(MT-Bench 台灣版)

名次模型平均(95% 區間)TMMLU+台灣法律題TTQA(台灣在地知識)DRCD(繁中閱讀理解)MT-Bench 台灣版
1Llama-3-Taiwan 70B Instruct 紀錄台灣
Taiwan LLM(林彥廷)|Q4_K_M(本站量化)
75.1
73~77
79.369.992.090.244.3
2Llama-3-Taiwan 8B Instruct 紀錄台灣
Taiwan LLM(林彥廷)|Q4_K_M(本站量化)
61.1
59~63
56.142.684.186.036.8
3Breeze2 8B Instruct 紀錄台灣
聯發科創新基地|Q4_K_M(本站量化)
55.6
53~58
46.837.878.876.838.1
4並列Breeze 7B Instruct v1.0 紀錄台灣
聯發科創新基地|Q4_K_M(本站量化)
49.7
47~52
38.526.372.677.034.0
4並列Gemma-3-TAIDE 12B Chat(2602) 紀錄台灣
國家實驗研究院(TAIDE)|Q4_K_M(本站量化)
49.3
47~52
62.319.178.842.643.8
4並列Llama-3.1-Taiwan 8B Instruct 紀錄台灣
Taiwan LLM(林彥廷)|Q4_K_M(本站量化)
49.0
46~52
35.336.861.176.036.0
4並列Breeze2 3B Instruct 紀錄台灣
聯發科創新基地|Q4_K_M(本站量化)
47.7
45~50
40.721.170.875.230.9
8Llama-3.1-TAIDE-LX 8B Chat 紀錄台灣
國家實驗研究院(TAIDE)|Q4_K_M(本站量化)
39.2
37~41
40.35.771.743.234.9

怎麼排:平均=各項分數等權平均(0~100)。名次=1+「平均分數的 95% 信賴區間完全高於它」的模型數,所以差距不顯著的模型會並列。點模型名稱看逐題紀錄與測試條件。

條件:關閉思考模式、溫度 0、固定抽樣種子;每項抽樣部分題目,分數通常低於官方開思考時公布的數字,適合比較同一張榜上的模型。MT-Bench 台灣版由 Claude 評分,標準比原版 GPT-4 嚴。

權重來源:一律從模型官方 Hugging Face 頁面下載,本站自行量化(標示於模型下方),聊天格式與官方 tokenizer 逐 token 比對。

第二級:業者自報端點(籌備中)

沒有公開權重的模型,未來可由業者開放 API 端點給本站評測。本站無法確認端點背後是什麼模型,所以這一級會另外列表、標明「業者自報」,不與第一級混排; 業者日後公開權重、本站重跑對得上,就會移到第一級。