Problem
儘管功能向量(FVs)能引導大型語言模型執行特定任務,但其處理語義複雜度高的任務(如情緒辨識)以及在不同語言間的遷移能力仍不明確,現有研究多集中於結構化的上下文學習。
Method
研究團隊採用多語系多標籤情緒辨識作為基準,從來源語言提取功能向量並應用於目標語言。實驗涵蓋了標準與擾動的零樣本環境,藉此測試模型在不提供推論範例的情況下,僅靠功能向量引導任務行為的表現。
Results
實驗顯示應用功能向量能顯著提升跨語言任務表現,證明其捕捉的是與語言無關的任務特徵而非詞彙模式。此外,模型建構功能向量的最佳注意力頭範圍在不同語言間保持一致,能部分取代少樣本學習的效果,同時避免處理多個範例帶來的運算負荷。
Significance
此研究證實了功能向量是輕量且具備高度可遷移性的模型適應機制。這為大規模多語系應用提供了低成本且高效的方案,讓開發者無需針對各語系準備大量上下文範例,即可實現精準的語義分類任務。