DiffuSpace 發布 Clover-35B-A3B-Preview 擴散語言模型

背景

擴散語言模型（Diffusion Language Model）是一種利用擴散過程進行文字生成的架構，與傳統自回歸模型逐字生成不同，它透過對區塊進行去噪來產生內容。Clover-35B-A3B-Preview 是 DiffuSpace 發布的首款模型，旨在開源擴散語言模型領域提供新的選擇。該模型基於 Qwen3.6-35B-A3B 構建，保留了其混合 Gated DeltaNet (GDN) 與全注意力機制（Full-attention）的混合專家（MoE，Mixture-of-Experts，即由多個子網路分工處理不同輸入的架構）骨幹。 Hugging Face 熱門模型 官方原文・github.com

發生什麼事

DiffuSpace 於 2026 年 10 月 27 日發布 Clover-35B-A3B-Preview。這是該團隊的首個發布項目，模型總參數量為 35B，每個 token 約有 3B活躍參數。發布者表示，在發布當時的基準測試中，該模型在開源擴散語言模型中表現達到最先進水準（state-of-the-art）。 Hugging Face 熱門模型 官方原文・github.com

重點內容

Clover 採用區塊擴散生成（Block diffusion generation）技術，支援 128K 上下文視窗，即提示詞與生成回應總共可達 131,072 個 token。其架構包含 40 層、256 個路由專家，每個 token 選擇前 8 個專家，並有一個共享專家。在區塊內，模型使用雙向注意力機制，透過學習到的 GDN 參數讓 token 在噪音區塊內相互關注，同時保留因果前綴。 官方原文・github.com Hugging Face 熱門模型

在推理後端支援方面，Hugging Face Transformers 用於獨立 Python 推理與實驗，採用區塊擴散去噪解碼；SGLang 用於服務與評估，支援區塊擴散去噪與Self-speculative decoding（自我推測解碼）；llama.cpp 用於本地推理，支援自我推測解碼。發布者建議在服務與評估時使用官方 SGLang 實作，並指出不同後端的核心實作差異可能導致生成文本略有不同。 原文 官方原文・github.com

模型包含重複控制與長度控制機制。預設參數包括 presence_penalty 為 0.9、repetition_penalty 為 1.05，以及 dllm_length_penalty 為 10.0，用於逐漸增加結束回應 token 的偏好。長度控制從 8192 個回應 token 開始，並在後續 8192 個 token 內達到最大強度。此外，區塊去噪期間可啟用專家選擇機制（moe_block_coreset_enabled），預設累積路由質量閾值（moe_block_coreset_top_p）為 0.9，以減少區塊內使用的不同專家數量。 Hugging Face 熱門模型

對使用者的意義

開發者可以使用 Transformers 5.19.0 與 PyTorch 2.10 或更高版本進行推理。執行該模型需要一張記憶體足以容納 BF16 權重（約 69 GB）加上推理狀態的 GPU。模型以 Apache-2.0 授權發布。使用者可透過 Hugging Face Transformers、SGLang、llama.cpp 或 vLLM 等工具載入模型，並支援 OpenAI 相容 API 介面進行服務部署。 Hugging Face 熱門模型 官方原文・github.com

限制與未定事項

發布者表示，極長的文字生成有時會出現重複現象，模型內建的重複控制為軟性控制，max_new_tokens 設定為硬性輸出上限。目前微調（Fine-Tuning）程式碼與訓練說明尚未發布，預計將釋出在 sft/ 目錄中。 Hugging Face 熱門模型 官方原文・github.com