台灣模型繁中實測：8 款地端模型五項評測，Llama-3-Taiwan 70B 排第 1、四款並列第 4

想在自家機器上跑繁中模型，最常被問的是：哪一款比較懂台灣？本站實測 8 個可以下載到地端執行的台灣模型，權重一律取自各模型官方 Hugging Face 頁面（Hugging Face 是公開下載模型的平台），再用 llama.cpp（一套在一般電腦上執行模型的開源工具）轉成 Q4_K_M 量化版本；量化是把模型權重壓縮成較小的格式，可大幅降低記憶體需求，但分數可能比原版低。測試一律關閉思考模式、溫度 0、固定抽樣種子，每個模型作答同一組 2,242 題，因此彼此可以比較，但分數通常低於官方公布的成績，不能當成模型的官方成績。

重點

• 本站實測平均分數，Llama-3-Taiwan 70B Instruct 以 75.1 分排第 1，Llama-3-Taiwan 8B Instruct 以 61.1 分排第 2，兩者平均相差 14.0 分。
• Breeze2 8B Instruct 平均 55.6 分排第 3；Breeze 7B Instruct v1.0、Gemma-3-TAIDE 12B Chat（2602）、Llama-3.1-Taiwan 8B Instruct、Breeze2 3B Instruct 平均落在 47.7～49.7 分，差距在誤差範圍內，並列第 4。
• 回答格式不照規定會明顯拉低分數：Llama-3.1-TAIDE-LX 8B Chat 在台灣法律題 209 題中有 176 題擷取不到答案，Gemma-3-TAIDE 12B Chat（2602）也有 123 題。
• 對話評分方面，Gemma-3-TAIDE 12B Chat（2602）在 MT-Bench 台灣版拿 43.8 分，與 Llama-3-Taiwan 70B Instruct 的 44.3 分差距在誤差範圍內。
• 在 NVIDIA RTX A6000 單卡上，Breeze2 3B Instruct 短問題生成速度為每秒 227.0 個 token，7B～8B 級模型落在每秒 114.8～128.3 個 token，Gemma-3-TAIDE 12B Chat（2602）為每秒 70.4 個 token。

受測模型

本文的 TAIDE 模型源自國家實驗研究院 TAIDE 模型（taide.tw）；本站量化屬於修改，依 TAIDE 授權條款標示。

Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms

測試方法

• 受測的是 8 個可以下載到地端執行的台灣模型；權重一律從各模型官方 Hugging Face 頁面下載，由本站以 llama.cpp 轉換並量化為 Q4_K_M。
• 每個模型的聊天格式都用官方 tokenizer 逐 token 比對過，確認送進模型的格式和官方一致。
• 測試時關閉思考模式、溫度 0、固定抽樣種子；同一組題目、同樣條件，所以分數可以互相比較，但通常低於模型官方公布的成績。
• 名次規則：平均＝五項分數等權平均；名次＝1＋平均分數的 95% 信賴區間完全高於它的模型數，差距不顯著就並列。
• 選擇題由程式比對答案；模型沒有照規定格式回答、擷取不到答案的題目，照各評測官方規則算錯。MT-Bench 台灣版由 Claude 依 MT-Bench 官方評分標準打分，標準比原版的 GPT-4 嚴。
• TMMLU+（iKala，台灣各級考試與專業證照選擇題，67 科）
• 台灣法律題（tw-legal-benchmark-v1，律師與證照考試選擇題）
• TTQA（聯發科 TCEval，台灣在地知識問答）
• DRCD（台達閱讀理解資料集，繁中閱讀理解）
• MT-Bench 台灣版（聯發科 TCEval，80 題兩輪對話，由 Claude 依 MT-Bench 官方標準 1～10 分）

結果

平均分數是五項評測的等權平均，名次則看 95% 信賴區間：這是依抽樣題數推估的誤差範圍，只有某模型的區間完全高於另一個模型，才算排在前面，否則並列。Llama-3-Taiwan 70B Instruct 平均 75.1 分（區間 73.2～77.1）排第 1，與第 2 名 Llama-3-Taiwan 8B Instruct 的 61.1 分相差 14.0 分；Breeze2 8B Instruct 平均 55.6 分排第 3，與 70B 相差 19.5 分。Breeze 7B Instruct v1.0（49.7 分）、Gemma-3-TAIDE 12B Chat（2602）（49.3 分）、Llama-3.1-Taiwan 8B Instruct（49.0 分）與 Breeze2 3B Instruct（47.7 分）並列第 4，四者差距在誤差範圍內，不能說誰比較好。Llama-3.1-TAIDE-LX 8B Chat 平均 39.2 分排第 8，與 70B 相差 36.0 分，主要被法律題與閱讀理解兩項拉低。

各項表現

TMMLU+　TMMLU+ 是涵蓋多種學科與專業領域的繁中選擇題測驗，每個模型作答 1,340 題。Llama-3-Taiwan 70B Instruct 拿 79.2 分（區間 77～82），區間完全高於其他模型；Gemma-3-TAIDE 12B Chat（2602）62.3 分、Llama-3-Taiwan 8B Instruct 56.1 分，兩者區間在 59 分相接，差距在誤差範圍內。其餘模型落在 35.3～46.8 分，其中 Breeze 7B Instruct v1.0 拿 38.5 分，有 89 題因格式不符擷取不到答案而算錯，Llama-3.1-TAIDE-LX 8B Chat 也有 58 題。

台灣法律題　台灣法律題測的是台灣法律相關知識，每個模型作答 209 題。Llama-3-Taiwan 70B Instruct 拿 69.9 分（區間 63～76），區間完全高於其他模型；Llama-3-Taiwan 8B Instruct 42.6 分、Breeze2 8B Instruct 37.8 分、Llama-3.1-Taiwan 8B Instruct 36.8 分，三者差距在誤差範圍內。這一項格式問題特別明顯：Llama-3.1-TAIDE-LX 8B Chat 有 176 題、Gemma-3-TAIDE 12B Chat（2602）有 123 題、Breeze2 3B Instruct 有 58 題擷取不到答案，分數分別為 5.7、19.1 與 21.1 分，很大一部分是被格式問題拉低，不完全代表法律知識。

TTQA（台灣在地知識）　TTQA 測的是模型對台灣在地知識的掌握，每個模型作答 113 題。Llama-3-Taiwan 70B Instruct 92.0 分、Llama-3-Taiwan 8B Instruct 84.1 分，兩者區間（86～96 與 76～90）重疊，差距在誤差範圍內。Breeze2 8B Instruct 與 Gemma-3-TAIDE 12B Chat（2602）同為 78.8 分，Breeze 7B Instruct v1.0、Llama-3.1-TAIDE-LX 8B Chat、Breeze2 3B Instruct 落在 70.8～72.6 分，Llama-3.1-Taiwan 8B Instruct 為 61.1 分。這一項題數較少、區間普遍偏寬，多數模型之間的差距都在誤差範圍內。

DRCD（繁中閱讀理解）　DRCD 是繁中閱讀理解測驗，模型要讀一段文章再依內容回答問題，每個模型作答 500 題。Llama-3-Taiwan 70B Instruct 90.2 分、Llama-3-Taiwan 8B Instruct 86.0 分，差距在誤差範圍內；Breeze 7B Instruct v1.0、Breeze2 8B Instruct、Llama-3.1-Taiwan 8B Instruct、Breeze2 3B Instruct 集中在 75.2～77.0 分，彼此也在誤差範圍內。兩款 TAIDE 模型明顯偏低，Llama-3.1-TAIDE-LX 8B Chat 為 43.2 分、Gemma-3-TAIDE 12B Chat（2602）為 42.6 分，若要用在文件問答，部署前宜先用自家資料驗證。

MT-Bench 台灣版　MT-Bench 台灣版是多輪對話與開放式回答測驗，80 題由 Claude 依 MT-Bench 官方評分標準打分（滿分 10 分），標準比原版使用的 GPT-4 嚴，分數普遍偏低。Llama-3-Taiwan 70B Instruct 拿 44.3 分（平均 4.43 分），Gemma-3-TAIDE 12B Chat（2602）拿 43.8 分（平均 4.38 分），兩者差距在誤差範圍內。其餘模型落在 30.9～38.1 分，Breeze2 3B Instruct 為 30.9 分（平均 3.09 分）；Gemma-3-TAIDE 12B Chat（2602）選擇題與閱讀理解分數不高，開放式回答的評分卻與 70B 相近，較適合對話類用途。

速度

速度測試在 NVIDIA RTX A6000 單卡上進行，tok/s 是每秒產生的 token 數（token 是模型切分文字的基本單位），首字時間則是送出問題到出現第一個字所需的秒數。Breeze2 3B Instruct 短問題生成速度為每秒 227.0 個 token；Breeze 7B Instruct v1.0 為每秒 128.3 個 token、首字時間 0.1 秒；Llama-3-Taiwan 8B Instruct 與 Llama-3.1-Taiwan 8B Instruct 都是每秒 120.4 個 token，Breeze2 8B Instruct 為 120.3，Llama-3.1-TAIDE-LX 8B Chat 為 114.8，首字時間都是 0.3 秒。Gemma-3-TAIDE 12B Chat（2602）為每秒 70.4 個 token、首字時間 0.4 秒，模型較大、速度也較慢。7B～8B 級模型的速度相近，同級之間挑選時可把重點放在分數與格式穩定度。

限制

以上分數都是本站在固定條件下的結果：Q4_K_M 量化、關閉思考模式、溫度 0，每個模型共 2,242 題，通常低於官方公布成績，也不代表模型在其他設定下的表現。擷取不到答案的題目依各評測官方規則算錯，因此格式遵循較差的模型分數會被明顯拉低；MT-Bench 台灣版由 Claude 評分，標準比原版嚴。TTQA 只有 113 題、MT-Bench 台灣版只有 80 題，信賴區間較寬，小差距不宜過度解讀。

結論

硬體條件允許時，Llama-3-Taiwan 70B Instruct 在本站實測五項都排在前段，適合法律、專業知識等重視準確度的場景，但參數量大得多，部署前要先確認記憶體與回應速度能否接受。若只能跑 8B 級，Llama-3-Taiwan 8B Instruct 平均排第 2、速度為每秒 120.4 個 token，是兼顧分數與效率的選擇，Breeze2 8B Instruct 排第 3、速度相近；資源更有限、重視回應速度時，Breeze2 3B Instruct 每秒 227.0 個 token，閱讀理解表現與多款 8B 模型在誤差範圍內，但法律題分數偏低。Gemma-3-TAIDE 12B Chat（2602）的對話評分與 70B 差距在誤差範圍內，適合開放式對話，但閱讀理解分數偏低、法律題格式不符多，速度也較慢；Llama-3.1-TAIDE-LX 8B Chat 與 Breeze 7B Instruct v1.0 則要特別留意回答格式不照規定的問題，接進自動化流程時建議加上格式檢查。不論選哪一款，都建議先用自家題目做小規模驗證，再決定上線。

逐題紀錄與測試條件：點表格中的模型名稱。完整排名：地端模型天梯榜。

測試與撰寫：本站 AI 實驗室程式量測；數據表與圖表由程式從評測紀錄填入，分析段落由 Claude 依數據撰寫並經程式核對數字，未經人工審閱。發現錯誤請回報。