在當前生成式 AI 的競賽中,混合專家模型(Mixture-of-Experts, MoE)已成為打造超大型語言模型的標準配備。從 GPT-4 到各類高效能的開源模型,MoE 架構憑藉著「僅啟動部分參數」的特性,讓模型在維持龐大參數量的同時,仍能保有相對較低的運算成本。然而,這種靈活性並非沒有代價。在實際訓練過程中,系統需要將資料頻繁地派發給不同的「專家」進行處理,這種複雜的路由與資料調度機制,往往成為限制訓練速度(吞吐量)的瓶頸,導致硬體效能無法被完全發揮。

NVIDIA 最近提出的「進階融合核」(Advanced Fusion Kernels)技術,核心目的就在於消除這些低效率的運算環節。在傳統的運算流程中,資料在經過不同的處理步驟時,必須不斷地在 GPU 的記憶體與運算核心之間往返存取。所謂的「融合核」,就是將原本多個獨立的運算指令合併為一個複合指令,讓資料留在運算快取中直接完成多項操作。針對 MoE 架構,這項技術特別優化了專家路由(Routing)與權重合併(Weight Gathering)的過程,大幅減少了記憶體頻寬的負擔。對產業而言,這代表著訓練同樣規模的模型,所需的硬體成本與時間將能顯著降低。這不僅能縮短產品開發週期,也讓更多企業更有機會在有限的算力資源下,訓練出具備競爭力的專業領域模型。

這項發展之所以值得關注,是因為它解決了 AI 硬體與軟體架構之間的「磨合期」問題。隨著模型規模持續擴大,單純堆疊硬體數量已不再是唯一解法,如何從底層軟體優化來榨出硬體每一分效能,已成為現今 AI 競賽的勝負手。MoE 技術雖然讓參數規模得以突破兆級,但若缺乏高效的融合核技術支援,訓練過程中的通訊延遲與資料搬運將會抵消掉架構帶來的優勢。NVIDIA 這次的技術突破,實際上是為下一代更巨大、更複雜的 AI 系統鋪平了道路,確保昂貴的算力投資能轉化為實質的模型智慧提升,對整體 AI 生態系的發展具有指標性意義。