約 9 萬元的 NUC 加雙外接顯卡盒，用 Strata 跑 125B MoE 生成達 84.3 tok/s

這篇要回答：預算十萬元內，一台 NUC 加兩個 Thunderbolt 外接顯示卡盒，能不能用 Strata 跑 125B 總參數、每 token 啟用 6B 的 MoE 模型，速度又在什麼水準。這組合購入約 NT$90,000，Strata 本身是 MIT 授權開源、免費。對照組有兩個：GB10 用 llama.cpp 跑同一個模型（但量化是約 4-bit 的 UD-IQ4_XS），以及同一組機器用 Ollama 跑 27B 的文章 #341 數據。與 GB10 只比速度，品質不能比，本站沒有做品質評測。

重點

• 本站實測，Strata 跑 125B MoE（IQ2_XS）生成在深度 0 為 84.3 tok/s，深度 32768 為 69.8 tok/s，約為 GB10 llama.cpp 的 2.86 到 3.18 倍，但量化不同，只能比速度。
• 短提示詞較吃虧：深度 2048 首字延遲 7.2 秒，是 GB10 的 2.40 倍；深度 32768 則是 30.5 秒對 46.3 秒。
• Strata 預設一次只服務一人，並行 1、2、4 的合計吞吐都約 14.6 tok/s，多人使用會排隊。
• 雙卡深度測試最高 67°C，降頻原因代碼為無，時脈中位數最低值 2,730 MHz 以上。

測試平台

原廠規格出處：本組合；GB10；Strata 文件。

價格

測試方法

• 模型：Qwen3.8-Flash-Next（125B 總參數（6B 啟用）＋51B n-gram 嵌入）。本組合用 Strata 提供的 IQ2_XS（ISTA-DASLab GSQ-RCO） 量化檔；GB10 對照組是本站先前用 llama.cpp 跑的 UD-IQ4_XS（unsloth），同一個模型、不同量化。
• 推論引擎：本組合 Strata 0.1.45（由 setup.sh 在本機編譯，CUDA 13.0），兩張卡自動分層（layer split auto），專家快取自動配置，投機解碼開啟（草稿 4 個 token）；GB10 是 llama-server b1-5e03bdd。兩邊都關閉思考模式、temperature 0。
• 生成速度與上下文深度：先放入指定長度的上下文（0、2K、8K、16K、32K token），再要求生成 128 token。提示詞處理與生成的速度取引擎自己回報的計時，首字延遲由測試程式從外面量；每個深度 5 次取中位數，暖機的第一次呼叫不計。
• 避免快取灌水：每個請求開頭加一行不重複的編號，讓引擎無法重用前一次的對話快取。
• 多人同時使用：同時送出 1、2、4 個請求（每個輸入約 2K token、生成 128 token），量合計吞吐、單請求生成速度與首字延遲。
• Thunderbolt 設定：兩張卡的 PCIe 連線封頂在 3.0（8 GT/s）、驅動動態省電關閉，與文章 #341 相同。
• 與 27B 的對照：同一組機器、同一套 Thunderbolt 設定，先前用 Ollama 跑 qwen3.8:27b Q4_K_M 的數據（文章 #341）。

結果

生成速度：上下文越長越慢多少

本站實測，本組合 Strata 在深度 0 的生成速度是 84.3 tok/s，深度 2048 為 78.7 tok/s，深度 8192 為 78.6 tok/s，深度 16384 為 77.2 tok/s，深度 32768 為 69.8 tok/s，從深度 0 到 32768 下降 17%。GB10 llama.cpp 在同樣深度從 26.5 tok/s 降到 24.4 tok/s，下降 8%，降幅較小。以倍數看，Strata 在深度 0 是 GB10 的 3.18 倍，到深度 32768 仍有 2.86 倍。這是 2-bit 對 4-bit 的速度比較，量化等級不同，不代表回答品質相當。

讀入長文件的速度

提示詞處理只看 2K 以上的深度，因為深度 0 的樣本只有幾十個 token。深度 2048 時 Strata 為 294 tok/s，GB10 為 734 tok/s，倍數 0.40；深度 8192 為 612 tok/s 對 764 tok/s，倍數 0.80。到深度 16384 Strata 的 864 tok/s 超過 GB10 的 757 tok/s（1.14 倍），深度 32768 則是 1,092 tok/s 對 728 tok/s（1.50 倍）。短提示詞時 Strata 較慢，原因與專家權重走 PCIe 3.0 x4 的 Thunderbolt 4 外接盒串流有關，這是 Strata 文件寫明的限制；Strata 作者在桌機 PCIe 的 RTX 5070 上量到 32K 提示詞處理 2,090 tok/s，本站在 32768 深度量到 1,092 tok/s。

首字延遲：按下送出到看到第一個字

首字延遲在深度 2048 時 Strata 為 7.2 秒、GB10 為 3.0 秒，倍數 2.40，這是本組合最吃虧的區段。深度 8192 的差距縮到 13.7 秒對 11.2 秒（1.23 倍），深度 16384 為 19.3 秒對 22.4 秒（0.86 倍），深度 32768 為 30.5 秒對 46.3 秒（0.66 倍）。換句話說，常見的幾千 token 提示詞要多等一點，超長文件反而是 Strata 先吐出第一個字。

多人同時使用

這張圖對本組合量到的是排隊，不是批次吞吐，因為 Strata 預設 parallel=1，一次只服務一個請求。並行 1、2、4 的合計吞吐分別是 14.6、14.7、14.6 tok/s，首字延遲中位數則從 7.2 秒增加到 11.6 秒、20.4 秒。GB10 的 llama-server 開 4 個槽，合計吞吐從 15.3 升到 21.3、24.4 tok/s，但單請求生成從 26.1 降到 21.1、15.2 tok/s。Strata 可以設 parallel 2 到 4，但每個並行槽會占掉約 0.6 GB 顯示記憶體的專家快取，所以這組合更適合一個人使用。

同一組機器：125B MoE 對 27B

同一組機器上，Strata 跑 125B MoE 的生成速度在深度 0 是 Ollama 跑 27B（Q4_K_M，文章 #341）的 2.05 倍，深度 2048 為 2.43 倍，深度 32768 仍有 2.12 倍。這說明的是每 token 只啟用 6B 的 MoE 結構加上投機解碼的效果，不是 125B 模型比 27B 模型品質好。提示詞處理則是 27B 在 2048 深度較快（Strata 為其 0.38 倍），到深度 16384 約持平（1.02 倍），深度 32768 時 Strata 反超到 1.38 倍。

為什麼是這個速度

生成速度的差距不能單用記憶體頻寬解釋：GB10 原廠規格記憶體頻寬是 273 GB/s，本組合原廠規格是 448 GB/s，數字有利於本組合，但 125B 模型的專家有一部分放在系統記憶體由 CPU 計算。更直接的因素有三個：模型每 token 只啟用 6B 參數；常用專家放進兩張卡各 11.26 GiB 的專家快取；2-bit 量化每次要讀的資料比 4-bit 少。再加上 Strata 內建投機解碼（MTP 草稿層先猜 4 個 token，主模型一次驗證），深度測試合計草稿接受率為 60%，輸出與不用投機解碼時相同。

價格與效能

本組合購入約 NT$90,000，是 ASUS NUC 15 Pro 約 NT$40,000（站長購入價）加兩個 AORUS RTX 5060 Ti AI BOX 各 NT$24,990（技嘉建議售價，站長購入價相同）；價格表也註明同規格有 2 萬元出頭的機種可替代 NUC。ASUS Ascent GX10（GB10，128 GB）建議售價 NT$97,900，是本組合購入價的 1.09 倍，但 2026 年 10 月的通路標價 NT$175,900 則是 1.95 倍。若能買到接近建議售價，GX10 價格相近，換得 131,072 token 視窗、約 4-bit 量化與多人並行，但生成速度只有本組合的三分之一左右；若通路價偏高，或主要是一個人用、重視生成速度，這組 NUC 加雙卡盒的位置較有吸引力。

穩定性與散熱

本站實測，深度測試期間第一張卡最高 67°C，nvidia-smi 回報功率最高 103 W，SM 時脈中位數最低值 2,752 MHz；第二張卡最高 67°C，回報功率最高 98 W，時脈中位數最低值 2,730 MHz。兩張卡的降頻原因代碼都是無，沒有看到降頻跡象。生成速度從深度 0 到 32768 下降 17%，應與上下文變長有關，而不是散熱造成的時脈下滑。

結論

這組約 NT$90,000 的組合跑得動 125B MoE，本站實測生成在深度 0 為 84.3 tok/s、深度 32768 為 69.8 tok/s。代價很清楚：2-bit 的 IQ2_XS 量化（Strata 作者表示 IQ3_S 才與完整模型在公開測試上相當，但那需要 64 GB 記憶體幾乎全空）、65,536 token 的上下文視窗、一次只服務一個請求，以及記憶體加顯示記憶體需求 39.2 GB、記憶體餘裕很小。適合一個人用、重視生成速度、又想在有限預算下試 125B MoE 的工程師與研究生；需要多人同時使用、131,072 token 視窗或較高量化品質的情境，GB10 比較合適。選擇時要先確認自己能接受 2-bit 的品質，因為本站沒有做品質評測。

附錄：完整數據

觀察與設定備註

• Qwen3.8-Flash-Next 是 125B 總參數、每個 token 只啟用 6B 的混合專家（MoE）模型，另有 51B 的 n-gram 嵌入查表。Strata 的做法：常用的專家放進顯示卡（兩張卡各 11.26 GiB 的專家快取），其餘專家放在系統記憶體由 CPU 計算或經 PCIe 串流到顯示卡；嵌入查表留在 SSD。啟動時把 33.02 GiB 的專家權重讀進記憶體。
• Strata 內建投機解碼（MTP 草稿層先猜 4 個 token，主模型一次驗證），生成速度已含這個效果；輸出與不用投機解碼時相同。
• 量化等級不同：本組合用 IQ2_XS（2-bit i-quant，下載 68 GB，記憶體加顯示記憶體需求 39.2 GB），GB10 用 Unsloth UD-IQ4_XS（約 4-bit）。兩者速度可以比，回答品質不能比；本站沒有做品質評測。Strata 作者表示 IQ3_S 才與完整模型在公開測試上相當，但那需要 64 GB 記憶體幾乎全空。
• 上下文視窗不同：本組合 Strata 設 65,536 token（KV 快取 8-bit），GB10 llama-server 設 131,072 token。測到 32K 深度兩邊都在範圍內。
• Strata 預設一次只服務一個請求（config parallel=1），同時送多個請求會排隊；GB10 的 llama-server 開 4 個槽可以同時處理。所以「多人同時使用」這張圖對本組合量到的是排隊，不是批次吞吐。Strata 可以設 parallel 2 到 4，但每個並行槽會占掉約 0.6 GB 顯示記憶體的專家快取。
• CPU 是 Core Ultra 5 225H（6 個效能核心加 8 個效率核心），Strata 用 9 個 CPU 執行緒算專家；它支援 AVX2，沒有 AVX-512。
• 兩張卡接在 Thunderbolt 4 外接盒，PCIe 連線 3.0 x4（本站封頂）；Strata 的專家串流走這條線，所以長提示詞處理比 PCIe 4.0 x16 的桌機慢，這是 Strata 文件寫明的限制。
• Strata 作者在 RTX 5070（12 GB）、64 GB 記憶體、桌機 PCIe 的機器上量到 IQ2_XS 短對話生成 79 tok/s、128K 上下文 63 tok/s、32K 提示詞處理 2,090 tok/s；作者對 RTX 5060 Ti 16 GB 的估計值是生成約 80 tok/s（1K）到 63 tok/s（32K），標明誤差 ±20%，且提示詞處理估計值是舊版引擎的數字。

測試與撰寫：本站程式（量測 aiwv.bench_strata，數據表與圖表由資料庫填值；分析段落由 Claude 依實測數據撰寫並經程式核對數字）。未經人工審閱，發現錯誤請回報。