去中心化指令微調新突破：解決梯度衝突與頻寬瓶頸的 MERIT 模型合併框架

本研究開發 MERIT 框架，透過 PCA 衝突分割與權重合併技術，有效解決指令微調中的梯度干擾與通訊負載，顯著提升大規模多模態模型的效能與擴充性。

Problem

在對大型語言模型與多模態模型進行指令微調時，處理異質資料混合常會面臨「梯度干擾」與「同步通訊頻寬負載」兩大瓶頸。這導致模型難以有效整合多樣化的使用者意圖，且在大規模訓練時面臨高昂的硬體與時間成本。

研究團隊開發了 MERIT 框架，其理論基礎源於共享平坦盆地內的局部二次理論。該方法先估算資料集層級的梯度衝突，利用主成分分析（PCA）將混合資料沿著衝突最強的軸線分割，接著讓各分區進行獨立微調（無需通訊），最後透過詞元加權平均（Token-weighted averaging）進行權重合併。

實驗證明，在 Qwen2.5-VL-3B 模型與 136 個 Vision-FLAN 任務中，MERIT 將 8 項基準測試的平均分數從 54.3 提升至 57.0。此外，在 7B 模型、160 萬個樣本的大規模測試中，其表現不僅優於傳統集中式訓練，且額外成本極低。

此研究證實了「先獨立微調再合併」的去中心化模式，不僅能透過權重合併達到隱性正規化與譜濾波效果，更能解決負遷移問題。這為未來大規模、異質性指令微調提供了兼具高效能與低通訊成本的可擴充方案。