實測查詢
本站實驗室測過的地端模型都在這裡：能力評測看分數，速度看各台機器上的實測。條件不同的結果不放在一起排名， 點模型名稱看它的完整成績。目前共 13 個模型有實測結果。
速度只在同一台機器上並排比較，先選機器：
同一台迷你電腦上的 Intel NPU（AI Boost），與 CPU、內顯共用記憶體；推論引擎 OpenVINO GenAI；提示長度上限 4K token，所以不提供長文件測試；一次只處理一個請求
| 模型 | 引擎／量化 | 短問題 tok/s｜首字秒數 | 一般對話（約 2K token 上下文） tok/s｜首字秒數 | 測試日期 |
|---|---|---|---|---|
| Phi-3.5 mini（NPU 版） | openvino openvino-genai-2026.4.1.0／INT4 channel-wise（OpenVINO） | 13.4｜2.69 | 8.2｜9.44 | 2026/10/14 |
| Qwen3 8B（NPU 版） | openvino openvino-genai-2026.4.1.0／INT4 channel-wise（OpenVINO） | 8.7｜4.61 | 7.7｜15.68 | 2026/10/14 |
單人速度測試，每個情境量 5 次取中位數。量化精度不同（例如 Q4 與 Q8）也會影響速度，請一併看「引擎／量化」欄。