본 논문은 로봇 조작을 위한 통합적인 3D 다중 모달 표현인 EmbodiedMAE를 제시합니다. 기존 접근 방식은 훈련 데이터셋과 로봇 조작 작업 간의 상당한 도메인 격차가 존재하고, 3D 정보를 효과적으로 통합할 수 있는 모델 아키텍처가 부족하다는 한계를 가지고 있습니다. 이러한 한계를 극복하기 위해, 고품질의 depth map과 point cloud로 DROID 데이터셋을 향상시켜 DROID-3D를 구축하고, RGB, depth, point cloud 모달리티를 동시에 학습하는 다중 모달 masked autoencoder인 EmbodiedMAE를 개발했습니다. DROID-3D에서 훈련된 EmbodiedMAE는 두 로봇 플랫폼에서 70가지 시뮬레이션 작업과 20가지 실제 로봇 조작 작업에 걸쳐 훈련 효율과 최종 성능 모두에서 최첨단 비전 기반 모델(VFM)을 능가합니다. 모델은 크기에 따라 강력한 확장성을 보이며 3D 입력으로부터 효과적인 정책 학습을 촉진합니다. 실험 결과는 EmbodiedMAE가 특히 공간적 인식이 중요한 정밀한 테이블탑 조작 환경에서 구현된 AI 시스템을 위한 신뢰할 수 있는 통합 3D 다중 모달 VFM임을 보여줍니다.
