實測查詢
本站實驗室測過的地端模型都在這裡:能力評測看分數,速度看各台機器上的實測。條件不同的結果不放在一起排名, 點模型名稱看它的完整成績。目前共 13 個模型有實測結果。
速度只在同一台機器上並排比較,先選機器:
工作站裝有 2 張 48 GB GDDR6;本實驗室單卡測試用 PCIe 3.0 x16 那張;推論引擎 Ollama
| 模型 | 引擎/量化 | 短問題 tok/s|首字秒數 | 一般對話(約 2K token 上下文) tok/s|首字秒數 | 測試日期 |
|---|---|---|---|---|
| Breeze2 3B Instruct | ollama 0.32.13/Q4_K_M | 227.0|0.26 | 208.8|0.55 | 2026/10/14 |
| Breeze 7B Instruct v1.0 | ollama 0.32.13/Q4_K_M | 128.3|0.10 | 121.0|0.57 | 2026/10/14 |
| Llama-3-Taiwan 8B Instruct | ollama 0.32.13/Q4_K_M | 120.4|0.27 | 114.1|0.77 | 2026/10/14 |
| Llama-3.1-Taiwan 8B Instruct | ollama 0.32.13/Q4_K_M | 120.4|0.27 | 114.0|0.77 | 2026/10/14 |
| Breeze2 8B Instruct | ollama 0.32.13/Q4_K_M | 120.3|0.27 | 114.1|0.78 | 2026/10/14 |
| Llama-3.1-TAIDE-LX 8B Chat | ollama 0.32.13/Q4_K_M | 114.8|0.32 | 109.5|1.35 | 2026/10/14 |
| Gemma-3-TAIDE 12B Chat(2602) | ollama 0.32.13/Q4_K_M | 70.4|0.40 | 65.1|2.22 | 2026/10/15 |
單人速度測試,每個情境量 5 次取中位數。量化精度不同(例如 Q4 與 Q8)也會影響速度,請一併看「引擎/量化」欄。