Problem
稀疏編碼器(Sparse Encoders)雖然在檢索任務表現優異,但其架構高度依賴英文詞彙空間。當套用至非英文語系時,往往面臨嚴重的跨語言遷移障礙,難以直接將英文的檢索能力有效轉移至其他語言,限制了其全球化應用的潛力。
Method
研究團隊開發了名為 SemBridge 的初始化方法,利用多語稠密嵌入模型作為語義橋接。該方法並非直接連結所有詞彙,而是為每個目標語言詞彙篩選出一組語義高度相關的來源語言詞彙,透過線性組合方式重建詞彙表示,藉此過濾語義雜訊並建立精確的語義對齊。
Results
在針對五種語言與四種稀疏模型架構的廣泛實驗中,SemBridge 在零樣本(Zero-shot)檢索表現顯著優於現有基準模型。此外,該方法在微調階段展現了更快的收斂速度,並在最終檢索準確度上取得了一致性的提升。
Significance
本研究為建構高效能多語系稀疏檢索系統提供了具備實踐價值的解決方案。透過克服英文中心的結構限制,SemBridge 讓先進的檢索技術能更有效率地部署於多元語言環境中,大幅降低了非英文檢索系統的訓練門檻與開發成本。