連結知識點：透過強化學習訓練具備跨領域通化能力的長生命週期大模型代理人

本研究提出 CoD 框架，賦予 LLM 代理人透過持續探索與自我更新環境上下文，從經驗中學習並優化長期任務表現的元能力，並成功實現跨領域的泛化。

Problem

目前的 AI 代理人難以在長生命週期的環境中持續演進。傳統方法多著重於單一任務的效能，缺乏像人類般能從連續經驗中「連結知識點」、動態更新對環境的理解並應用於未來任務的元能力（Meta-capability）。

提出 CoD 框架，採用端到端強化學習（RL）與 GRPO 風格的演算法，結合細粒度的信用分配（Credit Assignment）機制。該框架將「解決任務」與「更新上下文」交織成演進長序列，並設計專屬環境來激發 LLM 的探索與自我更新能力。

實驗證實端到端強化學習能有效提升 CoD 能力。模型不僅在訓練領域表現優異，更展現出強大的分布外（OOD）泛化潛力，能將習得的元能力遷移至不同領域及 Ralph-loop 設定中，實現顯著的效能增長。

本研究為開發具備自我進化能力的 AI 代理人開闢了新路徑。透過將長期經驗轉化為結構化知識，CoD 框架不僅連結了多項前沿研究，更提供開源實作，促進通用人工智慧在複雜、動態現實環境中的實際應用。