Problem

工業零件（如閥門、斷路器）的關鍵規格散佈於規格表、銘牌與技術圖紙等多張異質影像中。目前多模態大型語言模型（MLLM）在面對這類高密度技術資訊時，是否能從零散的來源中精確且完整地提取屬性值對（property-value pairs），仍是一個尚未被充分探索的領域。

Method

研究團隊開發了首個大規模工業產品理解基準 IndustryBench-MIPU，涵蓋 18 類工業產品、超過 4,500 個品項及 2.7 萬張影像。透過多模型共識與三層品質保證機制進行標註，並以此評測 9 款 MLLM 在單圖辨識與跨圖證據整合（包括文字辨識、視覺推理、領域知識解碼）等方面的表現。

Results

實驗數據指出，現有模型雖具備極高精準度（86-94%），但資訊完整度卻面臨嚴峻挑戰，表現最優的模型僅能找回約 49.9% 的產品屬性。當評測從單圖提取轉向跨圖整合時，模型召回率會大幅下降 15-34 個百分點，顯示「多圖資訊補完」而非「單圖辨識準確性」才是當前的核心技術瓶頸。

Significance

這項研究填補了工業多模態理解領域的評測空白，不僅定義了跨影像屬性擷取的挑戰，也為未來 MLLM 在處理複雜工業供應鏈、採購及相容性檢查等實際應用場景時，指明了需要提升跨影像證據整合能力的發展方向。