Problem
現有的視覺-語言-動作(VLA)模型在學習新任務時,通常需要收集大量的遙控操作示範,並針對每個任務進行個別的微調。這種做法不僅耗費昂貴的人力成本,在資料收集與運算資源上也極具負擔,難以快速擴展至多樣化的應用場景。
Method
研究團隊提出「檢索增強策略」,在訓練階段將目標機器人與低成本示範(如人手影片)進行配對學習,訓練完成後即凍結模型參數。新增任務時,僅需將新示範影片加入檢索庫,模型在每個控制步驟會即時檢索相關軌跡作為參考。此外,該架構結合了基於影片生成的 Cosmos 策略(WAM),利用未來圖像預測來增強視覺一致性與動作精準度。
Results
實驗結果顯示,檢索機制能顯著提升 VLA 模型的效能。在 PushT 任務中,該方法展現出優異的跨機體泛化能力,能適應未見過的目標角度;在 RoboTwin 2.0 基準測試中,其表現超越了多種跨機體基準模型。研究團隊也成功在實體機器人上驗證了此方法的有效性。
Significance
這項研究將機器人的任務適應從「參數更新」轉向「資料索引」,打破了每增添一項新技能就必須重新訓練模型的限制。這為開發能低成本、快速擴展任務範疇的通用型機器人系統提供了一套具備擴展性且高效的全新技術架構。