解決擴散模型強化學習的畫質退化：NormGuard 透過速度規範約束提升流匹配生成品質

本研究發現強化學習微調會導致流匹配模型速度規範膨脹，進而損害影像畫質。提出 NormGuard 訓練懲罰機制，在不犧牲獎勵訊號的前提下，顯著提升影像感知真實度。

Problem

強化學習（RL）在微調流匹配（Flow-Matching）生成器以對齊獎勵時，雖然提升了指標，卻常導致影像感知品質下降。研究識別出這種品質衰退的特徵為「速度規範膨脹」（velocity norm inflation），即 RL 微調會使每一步的速度向量模數比參考模型增加 5% 至 15%，進而產生視覺偽影。

Method

研究者提出名為 NormGuard 的訓練干預機制。由於推理端的重新縮放無法解決已耦合進權重的膨脹問題，且伴隨損失分析顯示速度模數不帶有連貫的獎勵訊號，NormGuard 採用摺葉損失（hinge penalty）函數。該機制僅在預測速度規範超過參考值時觸發，能直接與任何速度局部損失函數（如 NFT、AWM、DPO）結合。

Results

實驗涵蓋兩種基礎模型、三種後訓練方法及兩種獎勵代理指標，結果顯示 NormGuard 始終能提升多模態大模型（MLLM）評定的影像品質與鑑識真實度。即使在步數極少的推理場景下，NormGuard 依然能保持穩健的畫質，且其效果並非單純靠「提前停止」訓練所能達成。

Significance

本研究揭示了生成模型在強化學習對齊過程中，權重與速度規範過度擴張的耦合關係。NormGuard 提供了一種低成本且通用的解決方案，讓開發者在優化獎勵目標的同時，不必在影像美感與真實度上做出妥協，對開發高品質生成式人工智慧具有重要參考價值。