Problem

文字生成圖像（Text-to-Image）的強化學習通常需要大量人類偏好資料來訓練獎勵模型，或是依賴複雜的問答分解機制來驗證生成品質。這些傳統方法不僅耗費運算資源，且難以直接有效地利用現有多模態模型（MLLM）內建的跨模態理解能力。

Method

研究團隊開發了 SpectraReward 框架，將預訓練的 MLLM 直接作為零樣本獎勵模型使用。該方法不要求模型進行判斷或問答，而是透過單次影像條件下的「教師強制」（teacher-forced）前向傳播，計算原始提示詞在生成影像下的平均對數似然值。此外，更提出 Self-SpectraReward 分支，讓統一多模態模型利用其理解分支來引導自身的生成分支，達成閉環式的自我改進。

Results

實驗遍及多種擴散模型、RL 演算法及橫跨 4B 到 235B 參數的 MLLM 家族。結果顯示 SpectraReward 在多項基準測試中均顯著優於現有的獎勵微調方法。研究進一步發現，模型的參數規模並非獎勵品質的唯一指標，獎勵模型與生成策略之間的「對齊程度」才是提升強化學習成效的關鍵因素。

Significance

這項研究證明了無需額外標註或微調，即可將預訓練 MLLM 轉化為高效且現成可用的獎勵機制。這不僅大幅降低了圖像生成強化學習的門檻與成本，更為開發具備自我演進能力的統一多模態模型架構提供了重要實證與新方向。