LLM 縮放法則新視野：從香農雜訊通道理論揭示模型容量與訓練效能退化之謎

本研究提出香農縮放法則，將大語言模型訓練建模為有噪通道傳輸。該理論成功解釋了過度訓練與量化導致的效能衰退，能更精準地預測模型在不同資料規模下的非單調表現。

Problem

現有的大型語言模型（LLM）縮放法則多基於單調的冪律，無法解釋如「災難性過度訓練」或量化引起的效能下降等非單調現象。這些情況下，儘管投入更多運算資源，模型效能卻反而惡化，現有理論對此缺乏解釋力。

提出「香農縮放法則」（Shannon Scaling Law），將 LLM 訓練過程視為在有噪通道上的資訊傳輸。該框架依據香農-哈特利定理，將模型參數映射為頻道頻寬，並將訓練標記（tokens）視為訊號功率，藉此量化學習訊號與內在雜訊間的交互作用。

透過 Pythia 與 OLMo2 模型的實驗驗證，此法則在處理高斯雜訊、量化與多樣化任務（如數學、問答與程式碼）時，準確度顯著優於傳統法則。它能精準捕捉先前模型無法解釋的損耗函數 U 型退化曲線，並在未見過的 12B 模型規模預測上達成 0.847 的 R^2 高分。

本研究為理解 LLM 的容量極限提供了基於資訊理論的統一框架，解釋了模型縮放與訊噪比（SNR）的關鍵關聯。這對於避免過度訓練、優化量化策略以及提升大規模模型訓練的資源效率具有高度的實務與學術價值。