AI 新視界 AI Worldview
申請帳號 / 登入

關鍵字 ›

GB10

提到「GB10」的文章共 5 篇,最新在前。關鍵字由本站地端模型從文中抽出,程式核對過每個詞都在文章裡。

地端實測8 個來源10/24 下午07:34
二手 RTX 3090 加舊桌機約 NT$40,000,生成速度不輸 A6000

圖:本站依文章資料排版,不是照片

【實測】二手 RTX 3090 加舊桌機約 NT$40,000,生成速度不輸 A6000

同一個 27B Q4_K_M 模型,本站實測二手 3090 在 32768 深度內生成都比 A6000 快,代價是 24 GB 上限、溫度與無保固。

本站程式量測;數據由程式填入,分析由 claude-sonnet-5-5 撰寫並經程式核對,未經人工審閱。每段附來源,門檻檢查通過後自動上線。

  1. 【實測】約 9 萬元的 NUC 加雙外接顯卡盒,用 Strata 跑 125B MoE 生成達 84.3 tok/s

    IQ2_XS 量化、64K 上下文、一次服務一人,生成速度約為 GB10 上 llama.cpp 跑約 4-bit 那套配置的三倍(量化、引擎與投機解碼都不同,不是硬體勝負),代價是量化較狠且提示詞處理受 Thunderbolt 限制。

    地端實測7 個來源10/19 上午12:37自動生成
  2. 【實測】NUC 加雙 Thunderbolt 顯卡盒:生成約為 GB10 的 1.8 倍

    約 NT$90,000 的組合跑 qwen3.8:27b Q4_K_M,生成速度高於 GB10、低於 RTX A6000,但連線與並行都有限制。

    地端實測6 個來源10/18 下午05:59自動生成
  3. 【實測】Qwen3.8 Flash Next 地端實測:一台 GX10 跑大型 MoE,長文件生成速度穩定

    本站實測在 llama.cpp 上測量 Qwen3.8 Flash Next 的生成速度、提示詞處理、首字延遲與並行表現,並對照不同推論引擎上的全參數啟用模型,看 MoE 架構在單機上的實際差距。

    地端實測1 個來源10/14 下午12:49自動生成
  4. 【實測】本站實測:RTX A6000 生成速度約為 GB10 的 2.1 倍,並行請求兩台都無法提升吞吐

    同一模型、同樣用 Ollama 預設設定,從短提示一路測到 32,768 深度與 8 路並行,看兩台機器在地端推論的實際差距。

    地端實測2 個來源10/14 下午12:47自動生成