Problem

多模態大型語言模型（MLLM）在處理細粒度視覺任務時，通常依賴提高影像解析度來辨識微小細節。然而，高解析度會產生海量的視覺標記（tokens），導致視覺編碼與預填階段的運算成本大幅膨脹，且「定位目標」與「辨識內容」這兩項操作對於解析度的需求其實並不相同。

Method

研究團隊開發了 Vision-RL2 框架，採用區域級強化學習來優化輕量級建議網路。該方法讓模型先從粗略視野中定位感興趣區域（RoI），再將解析度集中在選定的關鍵證據上。透過凍結的 MLLM 評分機制，利用相減與相加目標函數來抑制干擾建議並找回缺失證據，整個優化過程無需區域標註、回應採樣或推理軌跡。

Results

實驗涵蓋六項細粒度基準測試與四種 MLLM 骨幹模型。結果顯示，Vision-RL2 在所有標記預算下的表現皆優於基礎模型。最顯著的是，它僅需約四分之一的視覺標記數量，就能超越原本全解析度模型所能達到的最高精確度。

Significance

此研究證明了高效的細粒度感知不需要對整張影像進行密集編碼。Vision-RL2 提供了一種具備成本效益且不需人工標註的優化路徑，為多模態模型在資源受限環境下處理高解析度視覺理解任務，開闢了更具擴展性的技術方向。