Problem

現有的從驗證獎勵中學習（RLVR）方法在處理高難度推理問題時效率低下，主因是模型難以在隨機探索中產出正確的最終答案。這導致回饋訊號稀疏，且無法有效利用失敗嘗試中的局部進展，使模型在面對艱深任務時陷入梯度死區（gradient dead zones）。

Method

研究團隊開發了「子問題課程強化學習」（SCRL）框架。該方法從參考推理鏈中衍生出可驗證的子問題，並逐步過渡到原始問題。演算法採用子問題層級的標準化（subproblem-level normalization），在每個子問題位置獨立進行獎勵標準化，將計算出的優勢值分配給對應的答案區塊，從而在無需外部評分準則或獎勵模型的情況下，實現細粒度的信用分配。

Results

實驗證明 SCRL 在七項數學基準測試中均優於強大的課程學習基準。相較於 GRPO，SCRL 讓 Qwen3-4B-Base 的平均準確率提升了 4.1 個百分點。在 AIME24、AIME25 及 IMO-Bench 等高難度競賽題型中，pass@64 的表現提升達 4.6 個百分點，顯示其在艱深推理問題上具有更佳的探索效率。

Significance

此研究揭示了子問題課程能有效帶領模型走出梯度死區，且問題越難，SCRL 帶來的相對增益越顯著。這為提升大語言模型的邏輯推理能力提供了一種高效且不依賴外部引導的強化學習新路徑，優化了樣本利用率與複雜問題的處理能力。