Problem

在多模態大語言模型（MLLM）的線上強化學習過程中，並非所有訓練提示詞都具有相同的學習價值。現有訓練協議通常對所有提示詞分配相同的計算預算，導致資源常浪費在已飽和或過於困難、無法提供有效學習訊號的提示詞上，降低了整體學習效率。

Method

提出「探索潛力評分」（EPS）作為提示詞效用的輕量化指標，此指標源自 KL 規則化策略改進理論，可直接從訓練中的取樣統計數據計算。系統會動態調整提示詞分佈，針對效用較低的提示詞，利用老師模型進行「提示詞架構」（Scaffolding）重寫，在保留原任務意圖的同時增加其資訊量，將老師的角色從單純的輸出模仿對象轉變為訓練資料的精煉者。

Results

將此框架與 GRPO 演算法整合並於 Geo3K 與 MMK12 進行測試，結果顯示本方法在域內基準測試中取得 9.7% 的相對提升。更重要的是，在分布外（OOD）測試中表現優異，於 MathVision 與 MMMU-Pro 分別提升了 11.5% 與 11.1%，證明了強大的泛化能力。

Significance

這項研究為多模態強化學習後訓練提供了一套全新的範式。透過動態評估與重寫提示詞，不僅大幅提升了計算資源的利用率，也解決了傳統強化學習中訓練訊號稀疏或無效的問題，為開發具備高難度邏輯推理能力的多模態模型提供了技術支撐。