回歸基本：線性模型能否在時間序列預測中挑戰 Transformer 的領先地位？

本研究證明透過精細調優預處理參數，簡單的 Ridge 回歸能在多個基準測試中超越複雜的深度學習模型，顯示預處理在時間序列預測中的關鍵影響力。

Problem

目前的預測研究過度依賴大型 Transformer 或基礎模型，假設必須增加模型容量才能提升準確度，忽略了模型規模化所帶來的龐大運算成本與效率問題。

研究以具備閉式解且易於解釋的 Ridge 回歸為實驗對象，針對上下文長度、局部標準化、正規化及資料增強進行超參數搜索，並探討跨序列共享參數的最佳程度。

最佳回看長度具高度序列特異性，局部標準化效果幾乎全面優於全局標準化。最終模型在八項基準測試中，有六項超越了 Transformer、MLP 與 CNN 等深度學習基線。

挑戰了「大模型必勝」的傳統觀念，顯示透過低成本的預處理調優可獲得卓越性能，並能作為診斷工具，揭示大型模型在學習過程中隱含處理的數據結構特性。