jingdong 研究提出 Road MOPD，高衝突情境下提升超過 5 個百分點

研究在做什麼

這篇論文的研究機構為 jingdong，主題是 MOPD（多教師同策略蒸餾）。它建立在 OPD（同策略蒸餾，讓學生模型自己生成回答，再由教師模型在這些回答上逐個 token 給出監督）之上。MOPD 的做法是把不同領域的資料分派給各自專長的教師，藉此把多位教師的能力整合進同一個學生模型。 Hugging Face 每日精選論文

研究者指出，領域路由只區分了各領域由哪位教師監督，但所有領域的更新仍作用在同一組共享參數上。當教師之間的回答風格與領域專長差異很大時，單獨看有效的監督，在聯合訓練時仍可能造成持續的梯度衝突（不同領域要求參數往不同方向更新）與能力退化。 Hugging Face 每日精選論文

方法

論文提出的 Road MOPD，是讓原本沒有被分派到該領域的教師，也在同一批學生生成的回答上擔任輔助的跨領域評審。它有兩個部分：一是跨教師引導的信用分配（決定每個 token 該得到多少修正），用教師之間的一致程度來加強多位教師共同支持的修正、減弱彼此衝突的訊號；二是預防性的多教師梯度投影，用同一批回答產生的輔助梯度去約束可能衝突的更新，並自動調整投影強度，以保留目標領域的學習訊號。 Hugging Face 每日精選論文

結果

實驗中，Road MOPD 減輕了處於劣勢領域的能力退化，在高衝突情境下提升超過 5 個百分點。在低衝突情境與三個領域同時訓練的設定下，整體表現也有改善。 Hugging Face 每日精選論文

程式碼與資料

本站 2026-10-16 整理（資料來自 Hugging Face 論文頁與 GitHub，由程式查詢，不經模型撰寫）：

• 研究機構（Hugging Face 標示）：jingdong
• 程式碼：論文頁沒有列出公開的程式碼
• 線上展示：tardellirs/paper-pulse
• 模型與資料集：Hugging Face 上沒有連結到這篇論文的公開模型或資料集