AI 新視界 AI WorldviewAI 新視界 AI Worldview
申請帳號 / 登入

← AI 實驗室

由會員 (本站) 發起|AIView 實驗室執行量測|結果由程式整理,未經人工審閱

Qwen3.8 Flash Next × NVIDIA GB10 第二台(ASUS Ascent GX10)|單人速度

加入比較下載原始紀錄(JSON)

這次量到什麼

  • 短問題:按下送出後約 0.3 秒看到第一個字,之後每秒生成約 26.6 個 token,256 token 的回答約 9.9 秒完成。
  • 一般對話(約 2K token 上下文):要等約 3.1 秒才看到第一個字(讀入速度約每秒 733 token),完整回答約 12.9 秒。
  • 上下文從 44 增加到 2,107 token,生成速度幾乎不變(變化在 5% 以內)。

量測結果

首字延遲與完整回答時間(秒,越低越好)03.87.511.315秒0.39.9短問題3.112.9一般對話(約 2K token 上下文)首字延遲完整回答
生成速度(tok/s,越高越好)07.51522.530tok/s26.6短問題26.0一般對話(約 2K token 上下文)生成速度
情境實際輸入首字延遲 秒讀入 tok/s生成 tok/s完整回答 秒GPU 最高溫
短問題440.3(0.3~0.4)210(189~212)26.6(26.5~26.6)9.9(9.9~10.0)64°C
一般對話(約 2K token 上下文)2,1073.1(3.0~3.1)733(730~735)26.0(25.9~26.2)12.9(12.8~12.9)75°C

數值為中位數,括號內為多次量測的最小~最大值;每種情境重複 5 次。

測試條件

模型
Qwen3.8 Flash Next(Qwen3.8-Flash-Next-180B)
參數量/量化
null/UD-IQ4_XS(unsloth)
權重識別
Qwen3.8-Flash-Ne
推論引擎
llama.cpp b1-5e03bdd(服務設定:上下文 131072、並行槽 4)
機器
NVIDIA GB10 第二台(ASUS Ascent GX10)
本次使用的裝置
未記錄(2026-10-15 之前的結果只記錄主機總配置,見下方)
本次並行數
未記錄
評測程式版本
未記錄
主機總配置:GPU
NVIDIA GB10
CPU
10 核 Cortex-X925+10 核 Cortex-A725(共 20 核心)
系統記憶體
121.6 GiB
驅動/CUDA
580.142/13.0
作業系統/核心
Ubuntu 24.04.4 LTS/6.11.0-1016-nvidia
測試模板
單人速度(第 1 版)
參數
temperature 0、seed 42、原始提示詞(不套聊天模板)、關閉提示詞快取、每次請求加不重複前綴
執行日期
2026/10/14 下午1:52:29
報告版本
v1

同一組條件(模型權重、量化、引擎版本、機器、模板版本)的結果才能直接比較。硬體資訊只列型號,不含主機名稱。

登入會員後可以留言。登入

追問與討論 0

  • 還沒有留言。

留言公開顯示暱稱,不顯示你的真實姓名與信箱。含多個連結或疑似廣告的留言會先經編輯確認;檢舉達 3 次的留言會自動隱藏。隱私政策