Problem

現有的自回歸影片擴散模型主要依賴觀察歷史作為上下文，在多代理人與多視角場景中，難以維持跨代理人共享的世界狀態，常導致角色行動或環境演變缺乏邏輯連貫性。

Method

提出 WorldWeaver (W²) 架構，核心為「世界狀態暫存器」（World State Registers），這是一組可學習的標記（tokens），用於儲存共享資訊並在每個生成區塊後動態更新。搭配「混合變換器」（Mixture-of-Transformers）設計，將世界狀態建模與視覺框架建模的權重分離，並引入代理人狀態、俯瞰圖與場景文字作為監督訊號。

Results

在 Minecraft 雙代理人影片生成的實驗中，該方法在邏輯一致性與生成品質上均優於傳統自回歸模型，能精準追蹤多個代理人的狀態，並生成具備高度物理與互動連貫性的畫面。

Significance

此研究為多代理人互動世界的建模提供了新範式。透過顯式的狀態管理，讓 AI 生成的虛擬世界具備更穩定的時空一致性，對於自動駕駛模擬、多人遊戲內容生成及虛擬環境建構具有高度應用價值。