強化學習啟發大語言模型習得「後設學習」能力：提升未知語言翻譯效果的新典範

本研究提出利用強化學習（RL）訓練大模型從語言學上下文提取資訊，而非死記特定語言。實驗證明，RL 能顯著提升模型在完全未知語言上的翻譯能力，效果優於傳統微調。

Problem

現有大語言模型在處理極低資源或未知語言時，多半透過持續訓練或在上下文中嵌入語法書來達成。然而，這些方法容易使模型過度配適（overfitting）特定語言，導致在面對完全陌生的語言時，零樣本遷移的翻譯表現受限。

研究團隊提出一套強化學習（RL）方法，旨在讓模型習得利用上下文語言學知識的「後設技能」，而非僅是記憶特定語言。模型以表面層次的翻譯評分指標（chrF）作為獎勵，學習如何從提供的豐富語言背景資訊中，精確提取並應用相關規則。

實驗結果顯示，即便僅使用輕量級的獎勵機制，經 RL 訓練的模型在處理完全未見過的語言時，其翻譯成效明顯優於傳統的上下文學習（ICL）或監督式微調（SFT）。模型能更有效地從脈絡中提取語言資訊並實際應用。

此研究證明了以結果為導向的強化學習不只能處理數學或程式碼等邏輯推理任務，也能成為從上下文習得語言能力的有效途徑。這為大規模處理極低資源語言翻譯提供了一套具備擴充性的解決方案。