穩紮穩打的強化學習：Trust Region Policy Distillation 提升模型推論穩定性與效率

Problem

同策略蒸餾（On-Policy Distillation, OPD）在訓練過程中經常面臨極高的梯度變異性，導致訓練過程極度不穩定，難以在複雜的任務（如數學推理）中達成優異且一致的效能。

Method

提出 TOP-D 演算法，藉由動態建構「近端導師」（Proximal Teacher）來引導策略學習。此方法從理論層面建立嚴謹框架，不僅能有效控制梯度變異，更提供了單調改進界限與全域收斂證明，確保訓練動態的可靠性。

Results

實驗數據顯示 TOP-D 在多項數學推理任務上，相較於傳統 OPD 展現出大幅躍進的訓練穩定性與樣本效率。最關鍵的突破在於，該演算法在提升最終表現的同時，完全不會增加額外的運算負擔。

Significance

此研究為強化學習中的策略蒸餾提供了數學上的穩定性保障。其零額外成本與高效率的特性，使其成為現有 OPD 典範的理想替代方案，對於開發具備強大邏輯推論能力的 AI 模型具有重大價值。