DTCA 提升擴散語言模型強化學習推理能力

研究在做什麼

擴散語言模型（Diffusion language models, DLMs）透過迭代去噪（iterative denoising）生成文字，具備雙向上下文建模與平行代幣精煉的能力。近期研究已將強化學習（Reinforcement learning, RL）應用於 DLMs 以提升推理表現，但迭代去噪過程使得信用分配（credit assignment）更具挑戰性，因為最終結果的獎勵對於不同代幣如何貢獻最終輸出的資訊有限。ZJU-OmniAI 提出 DTCA（Denoising Token Credit Assignment，去噪代幣信用分配）框架，旨在解決 DLMs 強化學習中的代幣級信用分配問題。 Hugging Face 每日精選論文

方法

DTCA 透過測量代幣承諾（token commitment，確定某個代幣的值）後，剩餘遮罩位置（masked positions，尚未生成文字的佔位符）預測信心的改善程度來估計代幣貢獻，並根據詞性（part-of-speech, POS）類別對這些信號進行分組。這些貢獻權重用於選擇具資訊量的去噪時間步（denoising timesteps，迭代生成過程中的一個步驟），並在 RL 訓練期間分配代幣級的學習信號。此外，DTCA 還根據策略更新所引發的代幣級熵變化（token-level entropy changes，衡量模型對代幣預測的不確定性）來校準這些學習信號。 Hugging Face 每日精選論文

結果

在 LLaDA-8B-Instruct 模型上的實驗顯示，DTCA 在不同生成預算下均能穩定提升數學推理表現。與基礎模型相比，DTCA 在 MATH500 資料集上的成績提升了 9.0 分，在 GSM8K 資料集上的成績提升了 5.3 分。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-30 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：ZJU-OmniAI
• 程式碼：ZJU-OmniAI/DTCA｜8 顆星｜最後更新 2026-10-28｜授權 Apache-2.0
• 專案網頁：https://zju-omniai.github.io/DTCA/
• 線上展示：tardellirs/paper-pulse
• 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集