AI 新視界 AI WorldviewAI 新視界 AI Worldview
申請帳號 / 登入

← AI 實驗室

地端模型天梯榜

本站用各家模型官方採用的公開 benchmark,在自家機器上實測可以下載到地端執行的模型。同一張榜上的模型都用同一組抽樣題目、同樣條件測試; 分數差距落在誤差範圍內就並列,不硬分高下。

第一級:本站實測|綜合評價(第 2 版,每個模型 252 題)

綜合知識(MMLU-Pro)、科學推理(GPQA Diamond)、聽懂指令(IFEval)、數學(MATH-500)、繁中知識(TMMLU+)、工具呼叫(BFCL)、程式(LiveCodeBench)

名次模型平均(95% 區間)MMLU-ProGPQA DiamondIFEvalMATH-500TMMLU+BFCL 單輪(non-live)LiveCodeBench v6
1Llama-3-Taiwan 70B Instruct 紀錄台灣
Taiwan LLM(林彥廷)|Q4_K_M(本站量化)
57.0
51~63
57.536.760.053.383.982.525.0
2並列Gemma-3-TAIDE 12B Chat(2602) 紀錄台灣
國家實驗研究院(TAIDE)|Q4_K_M(本站量化)
40.7
35~47
22.523.347.570.065.140.016.7
2並列Breeze2 8B Instruct 紀錄台灣
聯發科創新基地|Q4_K_M(本站量化)
38.5
32~45
47.530.055.043.342.335.016.7
2並列Breeze2 3B Instruct 紀錄台灣
聯發科創新基地|Q4_K_M(本站量化)
38.4
32~44
37.523.337.540.038.575.016.7
2並列Llama-3.1-Taiwan 8B Instruct 紀錄台灣
Taiwan LLM(林彥廷)|Q4_K_M(本站量化)
33.0
27~39
27.523.352.546.740.332.58.3
2並列Llama-3-Taiwan 8B Instruct 紀錄台灣
Taiwan LLM(林彥廷)|Q4_K_M(本站量化)
33.0
27~39
37.520.040.043.349.032.58.3
2並列Breeze 7B Instruct v1.0 紀錄台灣
聯發科創新基地|Q4_K_M(本站量化)
30.4
25~36
40.06.730.013.342.272.58.3
5Llama-3.1-TAIDE-LX 8B Chat 紀錄台灣
國家實驗研究院(TAIDE)|Q4_K_M(本站量化)
26.0
21~31
12.520.037.530.041.940.00.0

怎麼排:平均=各項分數等權平均(0~100)。名次=1+「平均分數的 95% 信賴區間完全高於它」的模型數,所以差距不顯著的模型會並列。點模型名稱看逐題紀錄與測試條件。

條件:關閉思考模式、溫度 0、固定抽樣種子;每項抽樣部分題目,分數通常低於官方開思考時公布的數字,適合比較同一張榜上的模型。MT-Bench 台灣版由 Claude 評分,標準比原版 GPT-4 嚴。

權重來源:一律從模型官方 Hugging Face 頁面下載,本站自行量化(標示於模型下方),聊天格式與官方 tokenizer 逐 token 比對。

第二級:業者自報端點(籌備中)

沒有公開權重的模型,未來可由業者開放 API 端點給本站評測。本站無法確認端點背後是什麼模型,所以這一級會另外列表、標明「業者自報」,不與第一級混排; 業者日後公開權重、本站重跑對得上,就會移到第一級。