Problem
現有的模型搜尋系統過度依賴文字語義相似度,導致搜尋結果往往過於單一,限制了使用者探索不同替代方案的機會。模型比較所需的關鍵數據(如效能指標、參數配置)通常集中在結構化表格中,而非冗長的文字描述,但傳統檢索方法難以有效利用這些隱藏在模型卡中的結構化證據。
Method
研究團隊開發了 StructuredSemanticSearch 框架,結合語義對齊與結構感知管線。該系統利用「聯集」、「連接」及「關鍵字搜尋」等表格發現算子,從 ModelTables 基準測試中定位相關表格。此外,採用方向感知的整合技術,將重疊或轉置的原始表格轉化為精簡的整合視圖,並導入基於「知識核心(Nugget)」的評估協定來衡量證據的涵蓋率與多樣性。
Results
在 597 個模型推薦查詢的實驗中,結構感知管線在知識核心涵蓋率上的表現顯著優於傳統的語義檢索基準。實驗證明,該框架能在受控的預算內,精準匹配符合特定意圖或條件的證據項,並提供具備高度可比性的模型候選清單,幫助使用者在多樣化的結果中做出決策。
Significance
此研究強調了表格數據在模型發現中的核心地位,並為動態成長的模型庫提供了一套具備擴展性的證據標註與檢索路徑。這不僅提升了開發者尋找最適模型的效率,也為未來自動化模型比較與複雜的學術模型檢索奠定了技術基礎。