突破多模態模型的視覺盲區：WorldBench 全新高多樣性推理基準測試

本研究推出 WorldBench，透過涵蓋數千個視覺概念的分類系統與具挑戰性的手寫問題，填補現有基準測試在視覺多樣性上的缺口，深入評估多模態大語言模型的理解極限。

Problem

現有的多模態基準測試雖然擴展了任務類型，但往往缺乏真實世界視覺輸入的多樣性，導致模型在面對開放式視覺輸入時難以表現穩定，無法充分反映模型在複雜且異質環境下的推理能力。

研究團隊建立了一個涵蓋數千種視覺概念（如生物、物體等跨領域範疇）的分類體系，並據此從搜尋引擎與現有資料集中篩選出具代表性的圖像。接著透過結構化的試錯過程，人工設計出連頂尖多模態大語言模型（MLLM）都難以正確回答的高難度推理問題。

量化與人工評估顯示，WorldBench 的視覺多樣性超越了現有所有基準測試。在對 15 個 MLLM 的測試中，即使是最強的模型也僅達到 64.0% 的準確率，部分模型表現甚至僅略高於隨機猜測，揭示了現有模型在視覺理解上的顯著弱點。

WorldBench 不僅為多模態大型語言模型提供了更嚴苛且全面的評量標準，更強調了在建構基準測試時「視覺多樣性」的核心地位。此研究能引導未來 AI 研發更重視圖像理解的廣度與深度，以應對現實世界的複雜應用。