二手 RTX 3090 加舊桌機約 NT$40,000，生成速度不輸 A6000

本站用一張二手 ZOTAC RTX 3090 24GB 裝進舊桌機（Ryzen 5 3600、32 GB 記憶體），以 Ollama 跑 qwen3.8:27b Q4_K_M，num_ctx 設為 40,960。測試涵蓋 0 到 32768 的上下文深度與 1 到 8 的並行數，每點重複 5 次、每次生成 128 個 token，並與本站先前測過的 RTX A6000、GB10、NUC＋雙 5060 Ti 對照。這個組合購入價合計約 NT$40,000，想用有限預算自架 27B 等級模型的人，可以用這份數據判斷二手卡值不值得賭。

重點

• 本站實測，二手 3090 生成速度為 55.2 tok/s（深度 0）、46.6 tok/s（深度 2048），對 A6000 在各深度為 1.10 到 1.21 倍，提示詞處理則約持平。
• 整組購入價合計約 NT$40,000；NUC 雙卡組合購入價約 NT$90,000（為本組合的 2.25 倍），GX10 建議售價 NT$97,900（為本組合的 2.45 倍）。
• 24 GB 放得下 27B Q4_K_M 加 40K 上下文，約占 19 GB；70B 等級需要兩張卡或更小的量化。
• 長上下文測試最高 88 °C，且有降頻紀錄；二手卡無保固，要自行承擔風險。

測試平台

原廠規格出處：本組合；RTX A6000；GB10；RTX 5060 Ti；RTX 3090 記憶體頻寬（TechPowerUp 資料庫）。

價格

測試方法

• 模型：qwen3.8:27b（27.3B 參數，Q4_K_M 量化），與本站先前 RTX A6000、GB10、NUC 雙卡測試同一份權重。
• 推論引擎：本組合 Ollama 0.40.6；對照組是各自測試時的 Ollama 版本（見硬體表）。上下文視窗（num_ctx）固定 40960，關閉思考模式，temperature 0、seed 42。
• 生成速度與上下文深度：先放入指定長度的上下文（0、2K、8K、16K、32K token），再要求生成 128 token。提示詞處理與生成分開計時，每個深度 5 次取中位數，載入模型的第一次不計。
• 避免快取灌水：每個請求開頭加一行不重複的編號，讓 Ollama 無法重用前一次的結果。
• 多人同時使用：同時送出 1、2、4、8 個請求（每個輸入約 2K token、生成 128 token），量合計吞吐、單請求生成速度與首字延遲。
• 單卡：整個模型與 KV 快取都在 RTX 3090 的 24 GB 內；量測前停掉機器上另一個占用顯示記憶體的常駐服務（見文末觀察）。
• 溫度與時脈：量測期間每隔幾秒讀一次 nvidia-smi，記錄最高溫度、SM 時脈與降頻原因。

結果

生成速度：上下文越長越慢多少

本站實測，3090 深度 0 的生成速度為 55.2 tok/s，深度 2048 為 46.6 tok/s，深度 8192 為 43.9 tok/s，深度 16384 與 32768 都是 46.4 tok/s。從深度 0 到 32768 生成速度下降 16%，A6000 同區間下降 22%、NUC 雙卡下降 20%、GB10 下降 18%。對 A6000 的生成速度倍數落在 1.10 到 1.21 之間（深度 2048 為 1.21，深度 32768 為 1.18），對 GB10 約 2.35 到 2.57 倍，對 NUC 雙卡約 1.33 到 1.44 倍。

讀入長文件的速度

提示詞處理只看 2K 以上的深度。3090 在深度 2048 為 1,133 tok/s，深度 8192 為 1,217 tok/s，深度 16384 為 1,169 tok/s，深度 32768 為 1,060 tok/s。與 A6000 的倍數是 1.00、1.04、1.02、0.99，等於持平，沒有明顯差距。對 GB10 為 1.43 到 1.54 倍，對 NUC 雙卡為 1.34 到 1.45 倍，這個差距比生成速度的差距小。

首字延遲：按下送出到看到第一個字

本站實測，3090 的首字延遲隨提示詞長度近似線性增加：深度 2048 為 2.2 秒，深度 8192 為 7.5 秒，深度 16384 為 15.2 秒，深度 32768 為 33.0 秒。A6000 在深度 32768 為 32.2 秒，與 3090 接近；GB10 為 45.7 秒，NUC 雙卡為 44.8 秒，都明顯較長。需要貼入長文件或程式碼庫的使用情境，等待時間主要由提示詞處理速度決定，這方面 3090 與 A6000 實質相同。

多人同時使用

Ollama 對 qwen3.8 這個架構目前不支援並行請求，伺服器紀錄也寫明這點，所以多個請求仍是一次處理一個，四台機器都一樣。3090 並行 1 的合計吞吐為 24.3 tok/s，並行 2、4、8 分別為 24.1、24.7、24.8 tok/s，沒有隨人數增加。首字延遲中位數則從並行 1 的 2.1 秒升到並行 8 的 20.3 秒，因為請求只能排隊。同一條件下 A6000 並行 1 為 23.3 tok/s，GB10 為 13.2 tok/s，NUC 雙卡為 18.9 tok/s。這組數據只代表目前的軟體限制，不代表硬體上限，多人共用時需要換用支援並行的推論引擎另行驗證。

24 GB 的上限

本站實測，qwen3.8:27b Q4_K_M 權重約 17 GB，加上 40,960 的上下文所需 KV 快取，Ollama 回報載入後占用約 19 GB，24 GB 的 3090 放得下，全部層都在顯示卡上。機上另一個常駐服務占用約 4.9 GB 顯示記憶體，量測前已停掉；若不停，Ollama 會把 23% 的層放到 CPU，生成速度掉到每秒約 1 個 token。70B 等級的 Q4 約 40 GB，單張 3090 放不下，需要兩張卡或改用更小的量化。換句話說，24 GB 對 27B 級模型夠用，但剩餘空間不多，同機再跑其他占用顯示記憶體的服務就會出問題。

為什麼差這麼多

生成階段每個 token 都要讀過整份權重，速度主要受記憶體頻寬約束。原廠規格的記憶體頻寬，3090 為 936 GB/s，A6000 為 768 GB/s，GB10 為 273 GB/s，單張 RTX 5060 Ti 為 448 GB/s。本站實測的生成速度排序與原廠頻寬排序一致，3090 高於 A6000，GB10 最低。NUC 雙卡是兩張 5060 Ti 經 Thunderbolt 分層，單卡頻寬較低，也多了卡間傳輸，所以生成速度落在 3090 與 GB10 之間。提示詞處理偏向運算密集，A6000 與 3090 因此差距很小。

價格與效能

價格以價格表為準。本組合是 ZOTAC RTX 3090 二手卡（站長購入價，約 NT$20,000）加既有桌機零件（站長估值，約 NT$20,000），合計約 NT$40,000。NUC＋雙 5060 Ti 的購入價合計約 NT$90,000，為本組合的 2.25 倍，本站實測生成速度只有本組合的 1/1.33 到 1/1.44 左右的水準，也就是 3090 的生成速度倍數為 1.33 到 1.44。GX10（GB10，128 GB）建議售價為 NT$97,900，為本組合的 2.45 倍；2026 年 10 月 PChome 24h 的 1 TB 版通路標價為 NT$175,900。GB10 的生成速度只有 3090 組合的一小部分，但它的記憶體容量較大，兩者定位不同。RTX A6000 單卡 2020 年上市價為 US$4,649，且不含工作站主機，本站沒有量到它的現行二手價，因此不在此推測。

穩定性與散熱

本站實測，3090 在長上下文測試期間 GPU 最高溫度為 88 °C，原廠標示的顯示卡功率為 350 W。SM 時脈中位數在 1,545 MHz 到 1,740 MHz 之間，瞬間最低值為 1,410 MHz，可見長時間負載下時脈有往下調整。nvidia-smi 回報的降頻原因出現了數組不同的代碼，內容涉及軟體層級的功率上限與熱降速旗標，兩者都有觸發。這次是在舊桌機的機殼風流下測得，換機殼或散熱條件，溫度與時脈可能不同；二手卡的散熱膏與風扇狀態也需要自行留意。

結論

這次實測顯示，二手 3090 在 27B Q4_K_M 加 40,960 上下文的條件下，生成速度比 A6000 高，提示詞處理與 A6000 持平，首字延遲也相近。它做不到的是超過 24 GB 的模型：70B 等級的 Q4 約 40 GB，需要兩張卡或更小的量化；也無法並行服務多人，這點受限於目前 Ollama 對此架構的支援。與 NUC 雙卡、GB10 相比，3090 組合在生成速度與提示詞處理都較高，價格也最低。風險在於二手卡沒有保固，且測試中最高溫達 88 °C、時脈有調降。適合單人或小團隊、以 27B 級模型做本地問答與長文件處理、能自己處理硬體維修的工程師與研究生；需要多人並行或更大模型的人，應另做規劃。另外，Ollama 常駐的其他服務要先停掉，否則顯示記憶體不夠，速度會大幅掉落。

附錄：完整數據

觀察與設定備註

• qwen3.8:27b Q4_K_M 權重約 17 GB，加上 40960 的上下文視窗所需的 KV 快取，Ollama 回報載入後占用約 19 GB，一張 24 GB 的 RTX 3090 放得下，全部層都在顯示卡上。量測前先把機器上另一個占用約 4.9 GB 顯示記憶體的常駐服務停掉；若不停，Ollama 會把 23% 的層放到 CPU，生成速度掉到每秒約 1 個 token。
• Ollama 對 qwen3.8 這個架構目前不支援並行請求（伺服器紀錄寫明 model architecture does not currently support parallel requests），同時送多個請求時仍一次處理一個，合計吞吐不會隨人數增加。四台都一樣。
• RTX 3090 是 2020 年上市的 Ampere 架構顯示卡，本次使用的是二手卡；原廠標示的顯示卡功率為 350 W，測試期間 nvidia-smi 回報的最高溫度見「穩定性與散熱」一節。
• RTX 3090 的 24 GB 記憶體可以放進 27B Q4 加完整 40K 上下文；若要跑 70B 等級（Q4 約 40 GB）就需要兩張卡或改用更小的量化。
• NUC＋雙 5060 Ti 的數據來自本站文章 #341（同模型、同方法、同 num_ctx），兩張卡經 Thunderbolt 分層；GB10 與 RTX A6000 為本站先前同方法實測。

測試與撰寫：本站程式（量測 aiwv.bench2，數據表與圖表由資料庫填值；分析段落由 Claude 依實測數據撰寫並經程式核對數字）。未經人工審閱，發現錯誤請回報。