Qwen-Image-2.0-RL 技術報告：結合強化學習與在線蒸餾，全面進化影像生成與精準編輯能力

本文介紹 Qwen-Image-2.0-RL 訓練管線，透過人類回饋強化學習（RLHF）與在線蒸餾技術，大幅提升擴散模型在視覺美感、指令遵循與人臉特徵保存上的表現。

Problem

現有影像生成模型常在指令對齊度、藝術美感與人臉保真度之間難以取得平衡，且在進行影像編輯任務時，往往無法精確執行修改指令，或是在編輯過程中難以維持原始主體特徵的一致性。

研究團隊開發了基於 GRPO 的強化學習訓練框架，利用微調後的視覺語言模型（VLM）建立複合獎勵系統，並結合連鎖思考（CoT）推理提供精準回饋。技術核心包含「混合無分類器引導」策略以保留預訓練知識，以及最後階段的「在線蒸餾」（OPD），將生成與編輯的專家策略模型整合為單一學生模型。

實驗顯示 Qwen-Image-2.0-RL 在 Qwen-Image-Bench 總分提升至 57.84。在競技場評比中，文字生成影像與影像編輯的 Elo 分數分別顯著增長了 78 分與 93 分，證明模型在美學品質、指令契合度及人臉識別一致性上皆有大幅進步。

此項研究為擴散模型的後訓練階段（Post-training）提供了創新的技術路徑，展示了如何透過 RLHF 有效校準影像生成的品質與意圖，並成功解決多任務模型整合的技術瓶頸，對開發高性能生成式 AI 具有重要參考價值。