Waypoint-OPD：利用閘控同策略蒸餾轉移強化學習策略偏移

研究在做什麼

現有策略偏移蒸餾方法直接重用教師模型在強化學習（RL）前後對數概率的差異作為監督訊號。然而，這種終點策略偏移無法揭示局部動作偏好在教師訓練期間是否一致演化；相同的終點偏移可能來自早期與晚期變化相互增強或部分抵消的情況。本研究探討早期與晚期教師策略偏移的一致性是否能引導選擇性轉移。 Hugging Face 每日精選論文

方法

研究引入 Waypoint-guided On-Policy Distillation (Waypoint-OPD)，使用同一 RL 訓練過程中的中間教師檢查點，比較學生模型訪問前綴下早期與晚期相對動作偏好的變化。該方法根據早期與晚期偏移的方向一致性對終點偏移進行閘控（gating），當兩者方向相反時抑制終點偏移。與僅使用終點轉移相比，此方法只需額外一次凍結教師模型的評分過程。 Hugging Face 每日精選論文

結果

研究使用 RL 訓練的 Qwen3-4B 作為教師模型，並評估 Qwen3-8B、Qwen3-14B 和 Qwen3-30B-A3B 作為學生模型在數學與程式推理上的表現。在所有六個領域與學生模型的組合設定中，Waypoint-OPD 在比較的蒸餾方法中取得了最高的領域平均分數。使用 Qwen3-8B 學生模型的消融實驗顯示，移除或打亂閘控機制會降低數學推理效能。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-17 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 程式碼：hhhbxloveai/WaypointOPD｜2 顆星｜最後更新 2026-10-15｜授權 未標示
• 線上展示：tardellirs/paper-pulse
• 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集