본 논문은 오픈 월드 로봇 조작(Open-world Robot Manipulation) 문제를 다룬다. 이는 로봇이 사전 프로그래밍이나 사전 훈련 없이 새로운 물체, 장면 또는 작업에 일반화하거나 신속하게 적응해야 하는 조작 문제이다. 효율적인 감각 운동 학습 방법론을 사용하여 이 문제를 해결한다. 효율적인 감각 운동 학습을 가능하게 하는 핵심은 제한된 양의 데모 데이터에 존재하는 규칙적인 패턴(regularity)을 활용하는 것이다. 이러한 규칙성을 통해 일반화 가능한 조작 기술을 데이터 효율적으로 학습할 수 있다. 본 논문은 규칙성이라는 관점에서 조작 문제를 공식화하는 새로운 관점을 제시한다. 이 개념을 바탕으로 세 가지 주요 기여를 소개한다. 첫째, 소량의 원격 조작 데모로부터 일반화 가능한 폐쇄 루프 감각 운동 정책을 학습할 수 있도록 로봇에 객체 중심 사전 정보를 부여하는 방법을 제시한다. 둘째, 로봇의 공간적 이해를 구성하는 방법을 제시하여 실제 세계 비디오 관찰로부터 조작 기술을 모방할 수 있도록 한다. 마지막으로, 로봇이 과거 경험에서 재사용 가능한 기술을 식별할 수 있도록 하는 방법을 제시하여 여러 작업을 순차적으로 지속적으로 모방할 수 있는 시스템을 구현한다. 이러한 기여는 저렴한 데이터 수집으로 새로운 상황이나 작업에 빠르게 적응하고 인간과 쉽게 상호 작용할 수 있는 범용 개인 로봇을 구축하는 기반을 마련한다. 제한된 데이터로부터 로봇이 학습하고 일반화할 수 있도록 함으로써, 일상 시나리오에 원활하게 통합될 수 있는 지능형 로봇 보조 시스템이라는 비전을 실현하는 데 한 걸음 더 다가선다.
