Problem
現有的多模態建模方法通常依賴兩個獨立的視覺標記器來分別處理圖像理解與生成任務。這種做法導致表徵空間(Representation Space)發生割裂,阻礙了系統實現真正的統一,使模型難以在同一語境下流暢地切換認知與創作行為。
Method
研究團隊開發了名為 UniAR 的統一自回歸框架,其核心在於「共享上下文視覺標記器」。該技術採用預訓練視覺編碼器搭配多層級特徵融合,並結合免查表位元量化(Lookup-free Bitwise Quantization)方案,在保留高階語義與低階細節的同時,降低擴展視覺詞彙的成本。此外,透過平行位元預測縮短視覺序列長度,最後由擴散式解碼器輸出高品質影像。
Results
實驗結果顯示,經過大規模預訓練、指令微調與強化學習後,UniAR 在圖像生成與圖像編輯任務上達到了頂尖(State-of-the-art)的效能表現。同時,該模型在多模態理解的各項基準測試中,也展現出極具競爭力的精準度。
Significance
這項研究證明了「單一視覺標記器」是實現多模態統一的關鍵。UniAR 讓模型能在不需重新編碼的情況下直接理解自己生成的內容,成功模糊了感知與生成之間的界限,為開發更通用、具備自我一致性的多模態人工智慧系統開拓了新方向。