ant-international 提出 PAR 方法，Qwen2.5-0.5B 在 512 步任務達 95.5% 準確率

研究在做什麼

ant-international 的研究指出，循環語言模型雖然可以在測試時執行更多迭代，但額外迭代未必能幫助解決更長的問題。在序列狀態追蹤任務中，最終答案的監督訊號無法指定每次迭代應推進多少進度，且重複更新可能改變循環狀態的規模。為此，研究提出 Progress-Aligned Recurrence（PAR，進度對齊循環）方法，旨在讓模型在處理超出訓練長度的問題時仍能保持效能。 Hugging Face 每日精選論文

方法

PAR 方法訓練第 k 次迭代的預測值，使其匹配前 k 個操作後的狀態，並將循環狀態重新縮放至第一次迭代的範數。當中間標籤不可用時，使用前綴自蒸餾（prefix self-distillation）技術，僅利用最終答案從較短的問題前綴中誘導對應關係。此外，透過學習的完成讀出機制（learned completion readout），模型可自主決定何時給出答案，無需預設停止深度。 Hugging Face 每日精選論文

結果

在 swap-S_5 任務上，使用 Qwen2.5-0.5B 模型、訓練長度最多為 32 步的設定下，PAR 方法在 512 步（即訓練長度的 16 倍）達到 95.5% 的平均完整狀態準確率。作為比較，同一基礎模型上報告的 RLT 方法準確率為 55.7%，明確思維鏈（explicit chain of thought）為 0.8%。消融實驗顯示，移除範數錨定（norm anchoring）會將外推因子從 16 倍降至低於 2.2 倍；若以最終答案監督取代進度對齊目標，外推因子則降至最多 8 倍。這些增益適用於多種序列狀態追蹤任務，表明深度外推需要特定的任務結構。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-23 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：ant-international
• 程式碼：論文頁沒有列出公開的程式碼
• 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集