本站實測：RTX A6000 生成速度約為 GB10 的 2.1 倍，並行請求兩台都無法提升吞吐

想在公司或研究室自架模型，常見的兩條路是 GB10 這類整合式統一記憶體平台，以及 RTX A6000 這類獨立顯示卡工作站。本文以本站實測回答三個問題：單人使用時的生成與提示詞處理速度差多少、長上下文會不會拖慢、多人同時使用時能不能撐住。每個量測點重複 5 次，每次生成 128 個 token，num_ctx 設為 40,960，伺服器採 Ollama 預設設定（default）。

重點

• 本站實測生成速度 RTX A6000 約為 GB10 的 2.1 到 2.2 倍，與原廠規格記憶體頻寬 2.8 倍的方向一致。
• 上下文從深度2048拉到32768，兩台生成速度幾乎持平，但首字延遲在深度32768時分別達到 45.7 秒（GB10）與 32.2 秒（RTX A6000）。
• 此模型架構在 Ollama 上不支援並行請求，並行數 1 到 8 合計吞吐不變，只有首字延遲中位數拉長；多人使用需改用支援批次處理的引擎。
• RTX A6000 工作站測試期間回報觸及軟體上限與軟體熱降頻，雙卡相鄰的 ATX 機殼需留意散熱。

測試平台

原廠規格出處：GB10；RTX A6000。

測試方法

• 模型：qwen3.8:27b（27.3B 參數，Q4_K_M 量化）。兩台使用同一份權重檔，以 SHA-256 核對一致。
• 推論引擎：兩台都是 Ollama 0.32.13，上下文視窗（num_ctx）固定 40960，關閉思考模式，temperature 0、seed 42。
• 生成速度與上下文深度：先放入指定長度的上下文（0、2K、8K、16K、32K token），再要求模型生成 128 token。提示詞處理（讀入上下文，吃算力）與生成（逐字輸出，吃記憶體頻寬）分開計時。每個深度跑 5 次取中位數，第一次載入模型的呼叫不計。
• 避免快取灌水：每個請求開頭加一行不重複的編號，讓 Ollama 無法重用前一次的計算結果，每次量到的都是完整讀入的成本。
• 多人同時使用：同時送出 1、2、4、8 個請求（每個輸入約 2K token、生成 128 token），量全部完成的合計吞吐、每個請求自己的生成速度與首字延遲。分兩種伺服器設定各量一次：Ollama 預設，以及開啟並行處理（OLLAMA_NUM_PARALLEL=8）。
• 單卡比較：RTX A6000 那台機上有兩張卡，但這個模型一張就放得下；為了公平，只用插在 PCIe 3.0 x16 的那一張。

結果

生成速度：上下文越長越慢多少

本站實測在深度0時，GB10 生成速度為 22.5 tok/s，RTX A6000 為 50.2 tok/s，倍數是 2.2。上下文拉長後兩台都會降速，但降幅集中在深度0到2048之間：GB10 到深度2048為 18.1 tok/s，之後在 18.6 到 19.2 tok/s 之間幾乎持平；RTX A6000 則落在 38.5 到 40.7 tok/s。從深度0到32768，GB10 生成速度下降 18%，RTX A6000 下降 22%，各深度的 RTX A6000/GB10 倍數穩定維持在 2.1。

讀入長文件的速度

深度0的實際輸入只有 58 個 token，提示詞處理速度（GB10 212 tok/s、RTX A6000 343 tok/s）主要反映固定開銷，參考價值有限。輸入拉長到 2,121 個 token 以上後，數字才進入穩定區間：本站實測 GB10 在 740 到 788 tok/s 之間，RTX A6000 在 1,074 到 1,170 tok/s 之間，兩台都在深度8192附近達到高點、到深度32768時略為下滑。各深度的提示詞處理倍數為 1.5，差距明顯小於生成速度的倍數。

首字延遲：按下送出到看到第一個字

首字延遲幾乎隨輸入長度等比例增加。短提示時兩台差異很小，GB10 為 0.7 秒、RTX A6000 為 0.6 秒；到深度8192時分別是 11.1 秒與 7.8 秒，深度32768時則是 45.7 秒與 32.2 秒。若應用情境是把整份文件或大量程式碼一次塞進提示詞，兩台都要等上數十秒才看到第一個字，這段等待在 GB10 上更明顯。

多人同時使用

在 default 設定下，並行數從 1 增加到 8，GB10 合計吞吐維持在 12.8 到 13.2 tok/s，RTX A6000 維持在 22.7 到 23.4 tok/s，倍數一路都是 1.8，代表請求其實是一個接一個排隊處理。排隊的代價反映在首字延遲中位數：GB10 從 3.2 秒拉長到 37.2 秒，RTX A6000 從 2.4 秒拉長到 21.5 秒。本站另將 OLLAMA_NUM_PARALLEL 設為 8 重測，伺服器紀錄寫明此模型架構（含 Gated DeltaNet 遞迴層）目前不支援並行請求，仍只處理 1 個請求，合計吞吐與預設相同。

為什麼差這麼多

生成階段每產生一個 token 都要把模型權重從記憶體讀一遍，速度主要受記憶體頻寬限制。原廠規格中，GB10 的記憶體頻寬為 273 GB/s，RTX A6000 為 768 GB/s，倍數為 2.8；本站實測的生成速度倍數為 2.1 到 2.2，方向一致但沒有完全等比例，顯示頻寬之外仍有其他開銷。GB10 的權重與 KV 快取放在 CPU 與 GPU 共用的統一記憶體，RTX A6000 則放在卡上的獨立顯示記憶體，這是兩者頻寬差距的來源。提示詞處理較偏向運算密集，因此倍數只有 1.5。

穩定性與散熱

本站實測長上下文測試期間，GB10 的 GPU 最高溫度為 91 °C，SM 時脈中位數介於 2,372 到 2,402 MHz，幾乎持平；GB10 的降頻原因欄位不宜當作判讀依據，從時脈看不出明顯降頻。RTX A6000 最高溫度為 88 °C，SM 時脈中位數介於 1,478 到 1,575 MHz，nvidia-smi 回報觸及軟體設定上限以及軟體熱降頻。這台 RTX A6000 是一般 ATX 機殼的工作站、兩張卡相鄰安裝，長時間負載時建議加強機殼風流或拉開卡距，才能讓實測數字更貼近穩定值。

結論

這次測試告訴讀者：單人互動式使用時，RTX A6000 的生成速度約為 GB10 的 2.1 到 2.2 倍，打字感受差異明顯；若重視回應流暢度，RTX A6000 較合適，GB10 則適合可以接受較慢輸出、以單人或批次離線處理為主的情境。長上下文下兩台生成速度都相當穩定，但首字延遲會隨輸入長度大幅增加，在 GB10 上更需要控制提示詞長度。最需要注意的設定問題是並行：在 Ollama 上這個模型架構不支援並行請求，調高 OLLAMA_NUM_PARALLEL 沒有效果，多人共用只會讓排隊時間變長；要提供多人服務，需改用支援批次處理的引擎（例如 llama.cpp server 或 vLLM），這部分不在本次測試範圍。

附錄：完整數據

測試與撰寫：本站程式（量測 aiwv.bench2，數據表與圖表由資料庫填值；分析段落由 Claude 依實測數據撰寫並經程式核對數字）。未經人工審閱，發現錯誤請回報。