Problem
目前的文字轉 3D 技術大多忽略了物體各個零件之間的語義與功能結構。既有的局部感知方法通常過度集中於幾何形狀,缺乏深層的語義聯繫,難以精確建模零件與文字描述的對應關係,也無法處理零件間的互動與依賴性。
Method
研究團隊提出 DreamPartGen 框架,核心包含「雙重局部潛在變數 (DPLs)」與「關係語義潛在變數 (RSLs)」。DPLs 同時處理個別零件的幾何與外觀,而 RSLs 則負責捕捉零件間的語言關聯。最後透過同步協作去噪程序(Synchronized Co-denoising),確保幾何構造與語義邏輯的高度一致性。
Results
實驗結果顯示,DreamPartGen 在幾何忠實度與文字形狀對齊度方面均達到現有技術(SOTA)的領先水準。產出的 3D 模型不僅結構清晰、具備高度可解釋性,且在複雜描述下的表現顯著優於傳統方法。
Significance
這項研究為 3D 生成領域引入了更符合人類感知的零件級理解。透過強化零件間的語義聯繫,DreamPartGen 讓 3D 模型不再只是表面的像素堆疊,而是具有邏輯結構的組成,這對虛擬實境、工業設計及自動化建模等應用具有深遠影響。