Problem

早期多模態模型多依賴後融合（late-fusion）技術，僅簡單串接預訓練編碼器與凍結的語言模型，導致模態間缺乏深度整合。此外，目前針對原生多模態架構的設計空間缺乏明確定義，學界與業界對於如何實現真正的「原生性」尚無系統化指引。

Method

論文正式定義了「架構原生性」，將中融合與前融合模式區別於非原生範式。研究將現有模型依據輸入輸出對稱性歸納為三類：用於跨模態理解的 Multi-to-Text、導向特定場景生成的 Multi-to-Target，以及實現對稱輸入輸出的 Multi-to-Multi 統一建模，並從工業視角拆解端到端技術管道。

Results

提出一套涵蓋架構協調、巨量資料清洗與策劃、全棧訓練方案、推論部署及全面評測的技術路線圖。這套藍圖證明理解與生成功能可在統一的 Transformer 範式下無縫共存，顯著提升模型在複雜多模態任務中的處理效能與靈活性。

Significance

本研究為人工智慧從「模態無關推理」轉向「世界建模」提供了關鍵的轉型框架。其提出的 NMM 路線圖不僅填補了學術界對原生架構定義的空白，更為工業界開發高效、一體化且具備深度跨模態協作能力的下一代 AI 模型提供了實作準則。