從弱到強的泛化：透過 Direct-OPD 技術將強化學習經驗轉化為高效模型蒸餾

本研究提出 Direct-OPD 技術，將小型模型強化學習後的「策略偏移」轉化為隱式獎勵，讓大型模型無需負擔高昂的訓練成本，即可有效繼承並提升推理能力。

Problem

強化學習雖能提升語言模型的推理能力，但隨著模型規模擴大，訓練過程中產生的大量生成試誤（Rollouts）成本極高，導致大模型在後訓練階段面臨嚴重的運算瓶頸。

提出「直接在策蒸餾」（Direct-OPD）技術，先在小型模型執行強化學習，再比對該模型 RL 前後的策略差異（Log-ratio），將此偏移量作為大模型的「密集隱式獎勵」。這讓大型模型能在自身的狀態分佈下，直接學習弱老師模型獲得的強化學習訊號。

實驗證明 Direct-OPD 能有效跨規模轉移能力。僅耗時 4 小時並使用 8 顆 A100 GPU，便將 Qwen3-1.7B 在 AIME 2024 的準確率從 48.3% 提升至 58.3%，表現優於直接在目標模型上進行強化學習，且支援多重策略偏移的序列組合。

此研究揭示強化學習的成果可作為跨模型的獎勵訊號複用，而不僅是單純的行為模仿。這為開發者提供了一種低成本、高效率的路徑，利用小型模型的訓練經驗來優化更強大的目標模型。