PraMem：透過實踐衍生經驗記憶，提升大型語言模型在長時序行為預測的準確度

本研究提出 PraMem 框架，將冗長的歷史序列轉化為可利用的經驗記憶。透過事前練習機制，協助大型語言模型克服認知偏誤，顯著提升長時序行為預測的表現。

Problem

大型語言模型（LLMs）在處理長時序行為預測時，往往難以有效歸納潛在的行為模式，且容易受到模型內在認知偏誤的影響。現有的記憶管理方法多採用「上下文壓縮」策略，雖然能減輕資料長度的負擔，卻未能解決預測精準度的核心挑戰。

研究團隊提出 PraMem 框架，主張將冗長的歷史序列從負擔轉化為可開發的資源。此方法透過對歷史序列進行「事前練習」（Beforehand Practice）來建立經驗記憶，並將這些提煉後的經驗作為輔助輸入，引導 LLM 進行更準確的長時序行為推理。

在多項不同任務的廣泛實驗中，PraMem 的預測效能顯著優於現有的記憶管理與序列處理方法。深入的消融分析進一步揭示了經驗記憶的演進規律，並證實其能有效協助模型捕捉長時序資料中的關鍵動態。

此研究為長時序行為預測帶來了範式轉移，證明了透過「主動練習」產生的經驗記憶，比單純的資料壓縮或上下文縮減更具實戰價值，對於人工智慧在個人化服務與複雜行為建模等領域具有重要的參考意義。