模型頁|數字全部來自本站量測紀錄,由程式整理
Phi-3.5 mini(NPU 版)
- 開發者
- Microsoft
- 參數量
- 3.8B
- 本站使用的量化
- INT4 channel-wise(OpenVINO)
- 授權
- MIT(Hugging Face 模型頁 OpenVINO/Phi-3.5-mini-instruct-int4-cw-ov,原模型 microsoft/Phi-3.5-mini-instruct,2026-10-14 查核)
中文不可用:本站實測這個版本在 CPU 與 NPU 上回答中文都是亂碼,只供速度參考
各台機器的生成速度
單人速度測試,每個情境量 5 次取中位數。不同機器的推論引擎、量化可能不同,跨列比較時請看條件欄。
| 機器 | 引擎/量化 | 短問題 tok/s|首字秒數 | 一般對話(約 2K token 上下文) tok/s|首字秒數 |
|---|---|---|---|
| Intel Core Ultra 5 225H(NUC,NPU) | openvino openvino-genai-2026.4.1.0/INT4 channel-wise(OpenVINO) | 13.4|2.69 | 8.2|9.44 |
全部實測紀錄 1 筆
- 2026/10/14單人速度Intel Core Ultra 5 225H(NUC,NPU)