Problem

現有的單視角影片動態重建技術往往難以生成完整且一致的 360 度幾何結構。主要原因在於這些方法過度依賴 2D 先驗資訊,導致模型容易過度擬合於各訓練視角的表面,導致被遮蔽區域產生嚴重的幾何歧義與不連續性。

Method

開發名為 4DGS360 的非擴散式(diffusion-free)架構,核心技術為 AnchorTAP3D 追蹤器。該技術利用可靠的 2D 軌跡點作為錨點來強化 3D 軌跡,有效抑制追蹤漂移並提供穩定的 3D 原生幾何初始化,隨後透過優化演算法確保在不同視點下皆能維持連貫的 4D 重建效果。

Results

研究團隊同步推出了 iPhone360 評測基準,其測試相機與訓練視角夾角高達 135 度,能有效評估全方位重建品質。實驗證明,4DGS360 在 iPhone360、iPhone 及 DAVIS 等資料集上,無論是在視覺細節還是量化數據指標上,均優於目前的先進技術。

Significance

這項研究突破了過往單視角 4D 重建在遮蔽區域表現不佳的瓶頸,實現了無需複雜擴散模型輔助的高效 360 度動態物體數位化,對於虛擬實境、影視特效製作及自動駕駛模擬等領域具有重要的應用潛力。