SimFoundry：結合自動化數位孿生與變體生成技術，大幅提升機器人零樣本遷移成功率

SimFoundry 從影片自動建構模擬場景並生成多樣化數位變體，能精準預測機器人效能，並顯著提升在複雜多步驟任務中的虛實遷移成功率。

Problem

在真實環境中訓練與評估機器人策略不僅成本極高，且難以進行大規模擴展。此外，現有的虛擬環境往往與現實場景存在顯著落差，導致機器人策略在面對未見過的現實條件時，缺乏足夠的泛化能力與穩定性。

SimFoundry 是一個模組化且自動化的系統，能直接從影片中實現零樣本的「實轉虛」（Real-to-Sim）場景重建。該系統能生成具備物理交互能力的數位孿生，並進一步透過編輯物體、場景與任務，自動產生大量保留功能特性的「數位變體」（digital cousins），以擴充訓練資料的多樣性。

研究顯示 SimFoundry 的模擬評估結果與真實世界表現高度吻合（皮爾森相關係數達 0.911）。在零樣本遷移測試中，導入數位變體訓練後的機器人在現實中的任務成功率顯著提升，物體、場景與任務層面分別進步了 17%、21% 及 40%，並成功處理雙手操作與複雜的關節物體互動。

此項研究大幅降低了高品質機器人模擬環境的建置門檻，提供了一個可擴展且高保真度的框架。它有效縮小了虛實差距，為開發能應對複雜現實環境的通用機器人策略提供了關鍵的技術支持。