由會員 （本站） 發起｜AIView 實驗室執行量測｜結果由程式整理，未經人工審閱
Llama-3.1-TAIDE-LX 8B Chat × NVIDIA RTX A6000（工作站，測試用單卡）｜單人速度
發起時的問題：「台灣模型（本站）」
這次量到什麼
- 短問題：按下送出後約 0.3 秒看到第一個字，之後每秒生成約 114.8 個 token，256 token 的回答約 2.6 秒完成。
- 一般對話（約 2K token 上下文）：要等約 1.4 秒才看到第一個字（讀入速度約每秒 5209 token），完整回答約 4.0 秒。
- 上下文從 94 增加到 2,099 token，生成速度幾乎不變（變化在 5% 以內）。
量測結果
| 情境 | 實際輸入 | 首字延遲 秒 | 讀入 tok/s | 生成 tok/s | 完整回答 秒 | GPU 最高溫 |
|---|---|---|---|---|---|---|
| 短問題 | 94 | 0.3（0.3～0.3） | 5978（5949～6008） | 114.8（114.7～115.0） | 2.6（2.6～2.6） | 79°C |
| 一般對話（約 2K token 上下文） | 2,099 | 1.4（1.2～1.4） | 5209（5205～5214） | 109.5（109.5～109.6） | 4.0（3.9～4.0） | 84°C |
數值為中位數，括號內為多次量測的最小～最大值；每種情境重複 5 次。
測試條件
- 模型
- Llama-3.1-TAIDE-LX 8B Chat（aiview/llama-3.1-taide-lx-8b-chat:q4_K_M）
- 參數量／量化
- 8.5B／Q4_K_M
- 權重識別
- sha256:fd5a596a3
- 推論引擎
- Ollama 0.32.13
- 機器
- NVIDIA RTX A6000（工作站，測試用單卡）
- 本次使用的裝置
- 未記錄（2026-10-15 之前的結果只記錄主機總配置，見下方）
- 本次並行數
- 未記錄
- 評測程式版本
- 未記錄
- 主機總配置：GPU
- NVIDIA RTX A6000
- CPU
- Intel(R) Core(TM) i7-9700 CPU @ 3.00GHz（8 核心）
- 系統記憶體
- 62.7 GiB
- 驅動／CUDA
- 580.159.03／13.0
- 作業系統／核心
- Ubuntu 24.04.4 LTS／6.17.0-35-generic
- 測試模板
- 單人速度（第 1 版）
- 參數
- temperature 0、seed 42、關閉思考模式、每次請求加不重複前綴避免快取
- 執行日期
- 2026/10/14 下午11:22:03
- 報告版本
- v1
同一組條件（模型權重、量化、引擎版本、機器、模板版本）的結果才能直接比較。硬體資訊只列型號，不含主機名稱。
登入會員後可以留言。登入
追問與討論 0
- 還沒有留言。
留言公開顯示暱稱，不顯示你的真實姓名與信箱。含多個連結或疑似廣告的留言會先經編輯確認；檢舉達 3 次的留言會自動隱藏。隱私政策