Problem
目前大型語言模型軟體工程代理程式的訓練受限於高品質任務不足。既有的合成資料方法多採用固定的程式碼變異或錯誤注入,這類任務分佈獨立於代理程式本身的弱點,難以隨訓練進度提供動態且具針對性的學習訊號。
Method
提出 Socratic-SWE 框架,將代理程式的歷史執行軌跡提煉為包含失敗模式與有效修復模式的「代理程式技能」。系統以此引導生成真實儲存庫中的針對性修復任務,並透過執行驗證與解題者梯度對齊獎勵進行篩選,確保任務不僅可驗證,且能有效提升模型能力。
Results
在 SWE-bench(Verified, Lite, Pro)及 Terminal-Bench 2.0 的測試中,Socratic-SWE 在相同運算預算下一致優於現有的自我進化基準。僅經過三輪迭代,在 SWE-bench Verified 上的準確率便提升至 50.40%,展現卓越的學習效率。
Significance
本研究證明了解題軌跡能作為軟體工程代理程式擴充訓練規模的有效基石。藉由閉環的反饋機制,代理程式能針對自身不足進行演化,為開發具備高度自主學習與適應能力的自動化編碼模型開闢了新路徑。