Problem

視覺-語言-動作(VLA)模型長期受限於專家演示資料(包含觀察、指令與動作的三元組)收集成本過高的瓶頸。這類模型通常將「如何移動」的物理能力與「要做什麼」的語義對齊混為一談,導致模型必須依賴極大規模的標記資料才能學習基本的物理操作。

Method

提出「任務無關預訓練」(Task-Agnostic Pretraining, TAP)框架,將學習分為兩個階段。第一階段透過自我監督的「逆動力學」(Inverse Dynamics)目標,從廉價且無標籤的互動資料(如機器人自動玩耍、被捨棄的任務無關軌跡)中學習可轉移的運動先驗。第二階段則僅需極少量的專家資料,將這些運動先驗與語言指令進行對齊。

Results

在 SIMPLER 基準測試中,TAP 僅需極少量標記資料即可與使用超過 100 萬筆專家軌跡的模型性能持平,較標準行為複製(Behavior Cloning)提升了 10% 的絕對增益。在實體 WidowX 機器人測試中,面對相機偏移擾動時,TAP 仍能維持 25% 的成功率,而傳統基於網路規模訓練的基準模型則完全失效。

Significance

這項研究驗證了將物理運動能力與語義學習分離的有效性,證明即使是無標籤的低品質互動資料也能產生強大的運動先驗。這為具身智慧(Embodied AI)提供了一條不依賴昂貴標記資料、更具擴展性且魯棒的發展路徑。