AI 新視界 AI WorldviewAI 新視界 AI Worldview
申請帳號 / 登入

← AI 實驗室

實測查詢

本站實驗室測過的地端模型都在這裡:能力評測看分數,速度看各台機器上的實測。條件不同的結果不放在一起排名, 點模型名稱看它的完整成績。目前共 13 個模型有實測結果。

|能力評測生成速度只看台灣模型

速度只在同一台機器上並排比較,先選機器:

工作站裝有 2 張 48 GB GDDR6;本實驗室單卡測試用 PCIe 3.0 x16 那張;推論引擎 Ollama

生成速度(tok/s,越高越好)|NVIDIA RTX A6000短問題一般對話(約 2K token 上下文)Breeze2 3B Instruct227209Breeze 7B Instruct v1.0128121Llama-3-Taiwan 8B Instruct120114Llama-3.1-Taiwan 8B Instruct120114Breeze2 8B Instruct120114Llama-3.1-TAIDE-LX 8B Chat115110Gemma-3-TAIDE 12B Chat70.465.1tok/s
模型引擎/量化短問題
tok/s|首字秒數
一般對話(約 2K token 上下文)
tok/s|首字秒數
測試日期
Breeze2 3B Instructollama 0.32.13/Q4_K_M227.0|0.26208.8|0.552026/10/14
Breeze 7B Instruct v1.0ollama 0.32.13/Q4_K_M128.3|0.10121.0|0.572026/10/14
Llama-3-Taiwan 8B Instructollama 0.32.13/Q4_K_M120.4|0.27114.1|0.772026/10/14
Llama-3.1-Taiwan 8B Instructollama 0.32.13/Q4_K_M120.4|0.27114.0|0.772026/10/14
Breeze2 8B Instructollama 0.32.13/Q4_K_M120.3|0.27114.1|0.782026/10/14
Llama-3.1-TAIDE-LX 8B Chatollama 0.32.13/Q4_K_M114.8|0.32109.5|1.352026/10/14
Gemma-3-TAIDE 12B Chat(2602)ollama 0.32.13/Q4_K_M70.4|0.4065.1|2.222026/10/15

單人速度測試,每個情境量 5 次取中位數。量化精度不同(例如 Q4 與 Q8)也會影響速度,請一併看「引擎/量化」欄。

還沒有實測結果的模型(17 個)