強化學習新突破：QGF 演算法利用測試端梯度引導，有效解決高維度流模型訓練不穩定的挑戰

本研究提出 QGF 演算法，捨棄傳統複雜的訓練端優化，改在測試時利用價值函數梯度引導流模型生成高價值動作。這大幅提升了穩定性與效率，在多項離線強化學習任務中表現卓越。

Problem

擴散與流模型在模仿學習表現優異，但整合進強化學習時，常需透過複雜的去噪過程進行反向傳播，導致訓練過程極度不穩定且難以擴展至大規模模型，影響了機器人控制的效能。

提出「Q-引導流」（Q-Guided Flow, QGF）演算法，其核心思想是將策略優化完全移至測試端。系統先預訓練一個參考流模型與價值函數，在執行階段直接利用價值梯度引導流模型生成更高價值的動作，無需額外的訓練端策略學習。

在處理高維度動作空間的單一任務與目標導向離線強化學習基準測試中，QGF 的表現優於以往的測試端優化方法，其效能不僅能媲美目前最先進的訓練端演算法，且運算成本更低，更具備優異的模型擴展能力。

此研究為具備高表現力的模型在強化學習領域開闢了新路徑。藉由規避傳統 Actor-Critic 訓練中的不穩定因素，QGF 提供了一種既實用又高效的替代方案，讓複雜的機器人控制策略能更穩定地規模化。