Empirical Analysis of Sim-and-Real Cotraining of Diffusion Policies for Planar Pushing from Pixels
Created by
Haebom
저자
Adam Wei, Abhinav Agarwal, Boyuan Chen, Rohan Bosworth, Nicholas Pfaff, Russ Tedrake
개요
시뮬레이션 및 실제 하드웨어에서 생성된 데모 데이터를 사용한 공동 학습은 로봇 공학에서 모방 학습의 규모를 확장하는 유망한 방법으로 떠올랐습니다. 본 연구는 시뮬레이션 설계, 시뮬레이션 및 실제 데이터 세트 생성, 정책 훈련에 대한 정보를 제공하기 위해 이러한 시뮬레이션 및 실제 공동 학습의 기본 원리를 밝히고자 합니다. 실험 결과, 시뮬레이션 데이터를 사용한 공동 학습은 특히 실제 데이터가 제한적인 경우 성능을 크게 향상시킬 수 있음을 확인했습니다. 이러한 성능 향상은 추가 시뮬레이션 데이터와 함께 플래토에 도달할 때까지 확장되며, 실제 데이터를 더 추가하면 이 성능 상한선이 증가합니다. 또한, 비 잡는 동작이나 접촉이 많은 작업의 경우 시각적 충실도보다 물리적 도메인 격차를 줄이는 것이 더 효과적일 수 있음을 시사합니다. 다소 놀랍게도, 어느 정도의 시각적 격차가 공동 학습에 도움이 될 수 있음을 발견했습니다. 이진 프로브는 고성능 정책이 시뮬레이션 도메인과 실제 도메인을 구별하는 방법을 학습해야 함을 보여줍니다. 시뮬레이션 및 실제 간의 긍정적인 전이를 용이하게 하는 미묘한 차이점과 메커니즘을 조사하여 결론을 맺습니다. 평면 푸시라는 일반적인 작업에 초점을 좁힘으로써 연구를 철저하게 수행할 수 있었습니다. 총 50개 이상의 실제 정책(1000개 이상의 시험에서 평가)과 250개의 시뮬레이션 정책(50,000개 이상의 시험에서 평가)을 포함하는 실험을 수행했습니다. 비디오와 코드는 https://sim-and-real-cotraining.github.io/ 에서 확인할 수 있습니다.
