突破長文本瓶頸：DLA 動態線性注意力機制，以自適應記憶管理提升模型效能

本研究提出 DLA 框架，透過動態調整狀態邊界與容量受限的記憶建模，解決線性注意力在長序列中資訊流失的問題，顯著提升模型對關鍵資訊的捕捉能力。

Problem

大型語言模型在處理長文本時受限於標準注意力的平方複雜度。現有的多狀態線性注意力雖然降低了運算成本，但依賴固定的狀態合併策略，無法針對不同標記（tokens）的重要性進行動態調整，導致關鍵資訊被不可逆地遮蔽，進而在長序列中產生嚴重的錯誤累積。

研究團隊開發了動態記憶建模框架 DLA，引入兩項核心技術：(1)「資訊感知動態狀態合併」，根據標記的資訊變化量自適應決定狀態邊界，在語意轉折處保留高解析度表示，同時壓縮穩定區域；(2)「容量受限記憶建模」，透過合併相鄰的低資訊狀態來維持固定大小的狀態快取，在嚴格控制記憶體增長的同時極小化資訊損失。

透過在兩種線性注意力模型上進行預訓練，並針對 16 個涵蓋不同領域的資料集進行測試，實驗結果顯示 DLA 的性能顯著優於目前的先進技術（SOTA）。該機制能在維持低運算成本的同時，更精準地捕捉長序列中的複雜關聯。

此研究克服了傳統線性注意力在記憶管理上的僵化限制。透過動態資源分配，DLA 在維持次平方複雜度的前提下，大幅提升了模型處理超長上下文的表徵能力，為建構高效能且具備長短期記憶的語言模型提供了全新路徑。