自引導測試時訓練：透過精準證據篩選提升長文本大型語言模型的推理能力

本研究提出 S-TTT 技術，讓模型在推理前先識別長文本中的關鍵片段進行參數微調，有效解決長文本帶來的雜訊干擾，顯著提升模型對長資訊的利用率與預測準確度。

Problem

大型語言模型在處理長文本時，常因輸入長度增加而導致準確度下降，且模型難以從龐雜資訊中定位核心證據。傳統的測試時訓練（TTT）若應用於全文則成本過高，若僅隨機選取片段進行訓練，則會因引入過多雜訊而導致模型效能甚至低於基準模型。

研究團隊開發了「自引導測試時訓練」（S-TTT）框架。該方法在進行參數適應前，會先要求模型自行識別與特定問題相關的關鍵證據片段。隨後，僅針對這些篩選出的高品質片段執行標準語言模型目標函數的微調，確保模型在推理前已針對該問題的特定背景進行了優化。

在 LongBench-v2 與 LongBench-Pro 兩項挑戰性極高的長文本推理基準測試中，S-TTT 為 Qwen3-4B 與 Llama-3.1-8B 等模型帶來顯著進步，相較於原始模型，準確度最高實現了 15% 的相對提升，有效彌補了長文本利用率不足的問題。

此研究揭示了 TTT 對訓練片段品質的高度敏感性，並提供了一種低成本且高效的解決方案。這不僅證明了模型具備自我引導學習的能力，更為克服長文本 LLM 效能退化與處理雜訊資訊的難題開闢了新的路徑。