Problem

在同策略自我蒸餾（OPSD）的過程中，傳統做法會提供教師模型額外的「特權資訊」（如標準答案或解題過程）。然而，學界尚不清楚這些額外資訊對於學生模型的進步，究竟比單純的自我蒸餾多出多少實質貢獻，以及其背後的運作機制為何。

Method

研究者構建了名為 AMPLE-Math 的可重複使用測試套件，包含 5,319 個數學問題，每個問題配備六種共享相同答案的推理視角。透過對比「無參考蒸餾」與「包含特權參考資訊的蒸餾」，針對 Qwen3-1.7B 與 SmolLM3-3B 模型進行實驗，觀察不同推理長度與 token 等級監督對學生模型行為的影響。

Results

實驗結果顯示，在 Qwen 模型的進步中，大部分提升可歸功於無參考蒸餾，特權資訊（如精鍊後的解法）帶來的額外收益相對有限。在 SmolLM3 模型中，完整的推理軌跡則能帶來約 2% 的效能增長。關鍵發現指出，將短回覆訓練改為長推理訓練有時反而會降低效能，且改變 token 等級的監督往往不會顯著改變模型最終的行為表現。

Significance

這項研究重新定義了特權資訊在自我蒸餾中的角色。結果顯示 OPSD 的核心價值並非在於揭露答案，而是透過參數共享來強化模型「跨模式轉移」的能力，讓模型能更有效地存取既有的推理潛力。這為未來開發更高效的語言模型訓練策略提供了重要理論支撐。