# EMMOE: A Comprehensive Benchmark for Embodied Mobile Manipulation in Open Environments

### 저자

Dongping Li, Tielong Cai, Tianci Tang, Wenhao Chai, Katherine Rose Driggs-Campbell, Gaoang Wang

### 개요

본 논문은 자연어로 제어되는 자율 주택 로봇 개발을 위한 새로운 벤치마크인 Embodied Mobile Manipulation in Open Environments (EMMOE)를 제안한다.  EMMOE는 사용자의 지시를 해석하고 연속 공간에서 장기간에 걸친 일상적인 작업을 수행하는 에이전트를 요구하며, 고수준 및 저수준의 구현된 작업을 통합된 프레임워크로 통합하고 다양한 평가를 위한 세 가지 새로운 지표를 포함한다. 또한, 다양한 작업 속성, 상세한 프로세스 주석, 실패 후 재계획 및 LLM 훈련을 위한 두 개의 하위 데이터 세트를 특징으로 하는 ~dataset을 수집한다.  더불어, LLM with Direct Preference Optimization (DPO), 경량 탐색 및 조작 모델, 여러 오류 감지 메커니즘으로 구성된 정교한 에이전트 시스템인 ~model을 설계하고, 성능 및 다양한 모델과 정책의 평가를 시연한다.  기존의 복잡한 로봇 작업을 위한 통합 벤치마크의 부재, 제한된 평가 방법 및 지표, LLM과 모바일 조작 경로 간의 데이터 비호환성 등의 문제점을 해결하고자 한다.

### 시사점, 한계점

- **시사점:**

    - 자연어로 제어되는 자율 주택 로봇 개발을 위한 새로운 벤치마크 EMMOE 제시

    - 고수준 및 저수준 작업 통합 및 새로운 평가 지표 제시

    - 다양한 작업 속성 및 주석을 포함하는 대규모 데이터셋 (~dataset) 제공

    - LLM과 DPO 기반의 정교한 에이전트 시스템 (~model) 개발 및 성능 검증

    - 복잡한 로봇 작업 평가를 위한 표준화된 프레임워크 제공 가능성

- **한계점:**

    - 제시된 데이터셋 (~dataset)과 모델 (~model)의 구체적인 내용 및 성능에 대한 자세한 정보 부족

    - EMMOE 벤치마크의 일반화 성능 및 확장성에 대한 추가적인 연구 필요

    - 실제 주택 환경과의 차이 및 일반화 가능성에 대한 검증 필요

    - 다양한 환경 및 작업에 대한 벤치마크의 적용 가능성에 대한 추가적인 분석 필요

[PDF 보기](https://arxiv.org/pdf/2503.08604)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).