Multi3IR：跨領域多模態資訊檢索新基準，解決開放式問題的多元視角檢索挑戰

本研究推出 Multi3IR 基準測試與 SPIN 方法，旨在評估並提升檢索系統在開放式問題中捕捉多元視角的能力，有效解決現有模型僅能處理單一觀點的侷限性。

Problem

現有的資訊檢索基準測試多針對封閉式問題，即便涉及開放式問題，也往往侷限於單一主題領域或單一模態，難以衡量檢索系統在處理具備多元觀點與複雜維度的開放式查詢時的效能。

研究團隊開發了包含 10.49 萬個 Stack Exchange 查詢的 Multi3IR 基準測試，並標註隱含的視角描述。此外，提出名為 SPIN 的參數高效學習方法，利用噪聲向量引導嵌入向量朝向多元且具備語義意義的方向發展，進而提升檢索覆蓋率。

實驗證明目前的多模態檢索模型普遍存在「單一視角偏差」。相較之下，SPIN 在 Multi3IR 測試中顯著提升了視角覆蓋率，且在未見過的開放式檢索基準測試中亦展現出優異的泛化能力。

本研究填補了開放式、多視角、多模態資訊檢索評估的空白。透過釋出的資料集與 SPIN 技術，為開發更全面、能理解複雜人類觀點的智慧檢索系統奠定了重要基礎。