Problem

目前的影片生成與編輯模型在處理複雜語義理解與高品質像素合成時，往往難以兼顧強大的推理能力與視覺真實度。如何有效整合多模態大語言模型（MLLM）的語義理解優勢與擴散模型的精細渲染能力，是當前電腦視覺領域的一大挑戰。

Method

研究團隊開發了 Bernini 框架，將任務拆解為語義規劃與像素渲染兩階段：首先由 MLLM 規劃器在 ViT 嵌入空間中預測目標語義表徵，再由基於 DiT 的渲染器根據該規劃、文本特徵及原始 VAE 特徵合成像素。此外，引入了「區段感知 3D 旋轉位置嵌入」（SA-3D RoPE）以處理多視覺輸入，並在規劃器中整合思維鏈（CoT）推理。

Results

Bernini 在多項影片生成與編輯基準測試中均達到頂尖（SOTA）水準。實驗證明，將語義作為介面可讓規劃器與渲染器分開訓練並保持高效協作，保留了預訓練組件的優點，使其在複雜且具挑戰性的編輯任務中展現出極強的泛化表現。

Significance

本研究定義了 MLLM 與擴散模型之間高效分工的新範式，透過將高層次語義規劃與底層像素渲染分離，為複雜視覺任務提供了一種可擴展且具備深度推理能力的統一架構，顯著推動了生成式人工智慧在動態影像處理領域的發展。