幾何流形強盜演算法：利用 LLM 潛在結構與貝氏課程學習提升強化學習推理效率

本研究將 LLM 的強化學習問題採樣視為流形結構強盜問題，提出貝氏流形課程（BMC）架構，透過階層式任務樹引導採樣，有效平衡學習信號與任務覆蓋率，顯著優化模型推理效能。

Problem

大型語言模型（LLM）的強化學習效果高度依賴訓練問題的採樣效率。現有課程學習方法多將題目選擇視為獨立的強盜問題，僅優先考慮中等難度的題目，卻忽略了任務空間中複雜的結構關聯與異質性，導致難以有效掌握學習信號的動態演進。

研究團隊將問題採樣定義為具有內生非平穩性的「流形結構強盜問題」，並開發出「貝氏流形課程」（Bayesian Manifold Curriculum, BMC）架構。此框架利用模型潛在表示空間的幾何特性將問題組織成階層式任務樹，並運用貝氏學習動態引導採樣決策。

實驗發現，不同的採樣策略會在生產力（學習信號強度）、多樣性（任務空間覆蓋率）與效用（評估指標相關性）之間產生顯著的權衡關係。單純追求題目難度不足以支撐強大的下游表現，採樣策略必須具備結構意識與類型感知能力。

本研究揭示了 LLM 訓練中任務幾何結構的重要性，挑戰了傳統僅以難度為核心的採樣邏輯。這項成果為開發更高效的課程學習演算法提供了新方向，對於優化大規模基礎模型的推理訓練路徑具有重要的理論與實作價值。