AI 新視界 AI WorldviewAI 新視界 AI Worldview
申請帳號 / 登入
全球動態#模型發布5 個來源Qwen3.8 27B（本站地端） 撰寫

Nvidia 發布 Qwen3.8-Flash-Next FP4 QAD 量化模型

Nvidia 利用 Model Optimizer 對 Alibaba 的 Qwen3.8-Flash-Next 進行量化，推出適用於本地硬體的小型化版本。

本站上線
2026/10/16 下午06:15
首次報導
2026/10/16 上午03:52
最早來源發布
2026/10/09 上午12:20
分享LINEFacebookThreadsXLinkedIn
AI 摘要｜已與來源比對｜未經人工查核。本文由程式（qwen3.8:27b）讀取下列來源全文與官方原文後撰寫， 每段後面的標籤是依據的來源，點擊即可開啟原文。程式會比對數字、版本與日期是否出現在來源中， 但這不等於事實查核。內容怎麼產生、有什麼限制； 發現錯誤請用文末的「回報」。

背景

Qwen3.8-Flash-Next 是 Alibaba 開發的自回歸語言模型，結合了視覺編碼器、混合注意力機制（Gated DeltaNet 和 Qwen Sparse Attention）、專家混合（Mixture-of-Experts, MoE）等架構。Nvidia 的 Model Optimizer 是一個用於模型優化的開源庫，提供量化、剪枝、蒸餾等技術，旨在加速模型推理並壓縮模型大小。此次發布是 Nvidia 將該工具應用於第三方模型的具體案例，旨在提供適用於本地硬體的小型化版本。 Hugging Face 熱門模型 官方原文・github.com

發生什麼事

Nvidia 於 2026 年 10 月 5 日在 Hugging Face 發布了 Qwen3.8-Flash-Next-FP4-Local 模型。該模型是 Qwen3.8-Flash-Next 的量化版本，使用 Model Optimizer 進行量化感知蒸餾（Quantization-Aware Distillation, QAD）處理。 Hugging Face 熱門模型

重點內容

模型參數總計 125B，其中激活參數 6B，另有 51B n-gram embedding 和 4B MTP。檢查點佔用約 96 GiB 磁碟空間，適合本地 AI 硬體使用。驗證硬體包括 NVIDIA RTX PRO 6000 Blackwell（單 GPU，支援 PLE 卸載，850K tokens FP8 KV Cache）和 NVIDIA DGX Spark（可選擇是否卸載 PLE，1M tokens FP8 KV Cache）。 Hugging Face 熱門模型

量化細節包括：解碼器路由專家使用 QAD NVFP4，注意力層使用 MXFP8，視覺注意力線性層使用 MXFP8 E4M3 值。模型版本為 FP4 QAD 1.0，使用 nvidia-modelopt v0.47.0 進行量化。 Hugging Face 熱門模型

在 GPQA Diamond 基準測試中，BF16 精度得分 92.2%，FP4-Local 精度得分 91.5%；在 ToolEvalBench 基準測試中，BF16 精度得分 89.4%，FP4-Local 精度得分 88.7%。 Hugging Face 熱門模型

對使用者的意義

該模型適合開發者用於 AI Agent 系統、聊天機器人、RAG 系統等應用場景。使用者可以下載預量化的模型，在支援的硬體上進行部署，無需自行進行量化處理。 Hugging Face 熱門模型

限制與未定事項

這些成績僅基於 GPQA Diamond 和 ToolEvalBench 兩個基準測試，未經第三方獨立評測驗證。NVFP4 scale factors 使用新的無損壓縮格式，但上游 vLLM 對該格式的支持尚未落地，必須使用提供的容器。 Hugging Face 熱門模型

本站實測過的模型：Qwen3.8 Flash Next 實測成績 →

來源 5 筆

  1. 官方原文github.com · GitHub - NVIDIA/Model-Optimizer: A unified library of SOTA model optimization techniques like quantization, distillation, pruning, neural architecture search, speculative decoding, etc. It compresses deep learning models for downstream deployment frameworks like TensorRT-LLM, TensorRT, vLLM, etc. to optimize inference speed.
  2. Hugging Face 熱門模型 · nvidia/Qwen3.8-Flash-Next-FP4-Local：Model Overview10/09 上午12:20
  3. 官方原文nvidia.com · NVIDIA Open Model Agreement（參考，正文未引用）
  4. 官方原文developer.nvidia.com · How Quantization Aware Training Enables Low-Precision Accuracy Recovery | NVIDIA Technical Blog（參考，正文未引用）
  5. Reddit r/LocalLLaMA · FP4 QAD quant of Qwen3.8-Flash-Next from Nvidia（參考，正文未引用）10/16 上午03:52
分享LINEFacebookThreadsXLinkedIn

這篇對你有用嗎？

登入會員後可以按反應與留言。登入

留言 0

  • 還沒有留言。

留言公開顯示暱稱，不顯示你的真實姓名與信箱。含多個連結或疑似廣告的留言會先經編輯確認；檢舉達 3 次的留言會自動隱藏。隱私政策

發現錯誤？

回報會進入待處理清單；核實後更正，並在文中註記更正紀錄。