본 논문은 자연어로 제어되는 자율 주택 로봇 개발을 위한 새로운 벤치마크인 Embodied Mobile Manipulation in Open Environments (EMMOE)를 제안한다. EMMOE는 사용자의 지시를 해석하고 연속 공간에서 장기간에 걸친 일상적인 작업을 수행하는 에이전트를 요구하며, 고수준 및 저수준의 구현된 작업을 통합된 프레임워크로 통합하고 다양한 평가를 위한 세 가지 새로운 지표를 포함한다. 또한, 다양한 작업 속성, 상세한 프로세스 주석, 실패 후 재계획 및 LLM 훈련을 위한 두 개의 하위 데이터 세트를 특징으로 하는 ~dataset을 수집한다. 더불어, LLM with Direct Preference Optimization (DPO), 경량 탐색 및 조작 모델, 여러 오류 감지 메커니즘으로 구성된 정교한 에이전트 시스템인 ~model을 설계하고, 성능 및 다양한 모델과 정책의 평가를 시연한다. 기존의 복잡한 로봇 작업을 위한 통합 벤치마크의 부재, 제한된 평가 방법 및 지표, LLM과 모바일 조작 경로 간의 데이터 비호환성 등의 문제점을 해결하고자 한다.
