Problem

稀疏專家混合模型（MoE）雖然能有效降低運算成本，但在進行免訓練壓縮時，現存方法僅關注專家間的成對相容性。這導致了一個結構性盲點：當三個專家成對相容卻在合併時形成不可約循環（Irreducible Cycle）時，現有的評分機制無法識別這種三方合併的阻礙，進而限制了壓縮的效果。

Method

研究團隊將此阻礙定義為數學上的「調和核（Harmonic Kernel）」，並在由專家（頂點）、成對 KL 散度屏障（邊）及三方屏障（面）構成的二維複合體上應用單體拉普拉斯算子。透過對邊界信號進行 Hodge 分解，提出的 HodgeCover 演算法能貪婪地覆蓋調和臨界邊與三方臨界三角形，並可結合現成的權重剪枝技術進行混合壓縮。

Results

在三個開源 MoE 骨幹模型的測試中，HodgeCover 在極高壓縮率下達到了最先進的效能。它不僅在減少專家數量的維度上與基準模型持平，更在混合壓縮的前緣領域取得領先，且能獨特地在所有四個 Hodge 分量中保持均衡的質量保留，證明其結構識別的精確性。

Significance

這項研究證明了揭示 MoE 結構中潛藏的高階拓樸性質，能根本性地改變模型壓縮的競爭力。透過數學上的 Hodge 分解，開發者可以在不需昂貴重新訓練的情況下，更精準地精簡大型模型，為在資源受限環境部署高效能 AI 模型開闢了新的路徑。