Problem

傳統推薦系統廣泛採用「預訓練後遷移」模式,但串流資料的行為分布會隨時間快速漂移。現有方法在學習序列時,常誤將無關的相鄰行為視為相依關係並編碼雜訊;此外,預訓練知識與特定任務的幾何優化需求存在衝突,導致模型在持續更新時容易產生干擾,甚至使下游適應失效。

Method

提出「知識與幾何解構」(KGD)架構,旨在優化知識獲取與遷移機制。首先,透過「行為多標記預測」(BMTP)僅保留具語義或協同關係的項目作為監督訊號,以獲取更純淨的知識;接著,將預訓練知識與任務幾何參數解構,利用唯讀交叉注意力與「錨定校準殘差」(ACR)技術,確保編碼器能持續更新而不影響特定任務的穩定性。

Results

在八項公開基準測試中,KGD 的效能較現有頂尖模型提升了 4% 至 12%,並在長達 90 天的生產環境測試中持續維持領先。目前 KGD 已全面部署於 Shopee 電商平台,實測顯示能有效提升每位用戶成交總額(GMV)1.75% 以及廣告收入 1.53%。

Significance

此研究突破了預訓練推薦模型在動態串流環境下的更新瓶頸。KGD 框架不僅解決了知識遷移中的參數衝突問題,更證明了在實際大規模工業應用中,透過解構模型職責可實現高效且持續的效能增長,為推薦系統架構提供了全新的設計思路。