본 논문은 로봇의 복잡한 실세계 작업 수행을 위한 도구 사용의 중요성을 강조하며, 인간의 도구 사용 데이터를 로봇 학습에 활용하는 새로운 프레임워크를 제안합니다. 기존의 원격 조작 방식 대신, 인간이 자연스럽게 도구를 사용하는 데이터를 활용하여 효율적이고 손쉬운 데이터 수집을 가능하게 합니다. 두 개의 RGB 카메라를 이용하여 3D 재구성과 Gaussian splatting을 통한 새로운 관점 증강, 분할 모델을 이용한 embodiment-agnostic 관찰 추출, 그리고 작업 공간 도구 동작 표현을 이용한 시각운동 정책 학습을 수행합니다. 실제 세계의 다양한 작업(미트볼 퍼내기, 팬 뒤집기, 와인병 균형 잡기 등)에 대한 실험을 통해, 원격 조작 데이터로 학습된 확산 정책에 비해 평균 성공률을 71% 향상시켰고, 데이터 수집 시간을 77% 단축시켰으며, 일부 작업은 본 프레임워크를 통해서만 해결 가능함을 보였습니다. 핸드 그리퍼에 비해서도 데이터 수집 시간을 41% 단축시켰고, embodiment gap을 해소하고 카메라 시점 및 로봇 구성의 변화에 대한 강건성을 향상시키며, 객체와 공간 설정에 걸쳐 효과적으로 일반화됨을 보여줍니다.
