突破影像描述生成瓶頸：ClaimDiff-RL 透過細粒度視覺主張比對平衡事實性與資訊涵蓋率

本研究提出 ClaimDiff-RL 框架，將強化學習的獎勵單位由整體序列細化為「原子級主張差異」，有效解決影像描述中虛構事實與細節遺漏之間的權衡難題。

Problem

長篇影像描述在強化學習中面臨獎勵粒度過粗的問題。現有的評估指標常將整段描述壓縮為單一評分，導致模型難以區分局部錯誤，往往在追求「減少幻覺」（事實性）與「增加細節」（涵蓋率）之間顧此失彼，無法精確優化特定的描述錯誤。

提出 ClaimDiff-RL 框架，改以參考文本為基準的「原子級主張差異」作為獎勵單位。該框架利用多模態評判模型找出具備視覺依據的差異點，並針對每個差異進行事實檢驗，指派錯誤類型與嚴重程度。這讓模型能針對「虛構主張」與「遺漏事實」分別量化並進行針對性的獎勵調整。

實驗顯示 ClaimDiff-RL 能有效暴露並處理事實性與涵蓋率的權衡關係，在多項基準測試中表現優異。其生成的描述在物體計數、空間關係及場景辨識等維度上，甚至超越了 Gemini-3-Pro-Preview，展現出更精準的細粒度描述能力。

此研究證實了分類且可驗證的主張差異是比整體標量更有效的強化學習獎勵單位。這不僅提升了影像描述模型的品質，更提供了一套具備診斷性的開發框架，讓多模態人工智慧的訓練過程變得更加精確且可調控。