UniJEPA: Enhancing Robot Policy via Unified Continuous and Discrete Representation Learning

작성자

Haebom

카테고리

Empty

저자

Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen

💡 개요

본 논문은 범용 로봇 정책 학습의 핵심 과제인 다양한 환경에서의 복잡한 작업 수행 능력을 향상시키기 위해, 이해(understanding)와 생성(generation) 모델의 장점을 통합한 UniJEPA를 제안한다. UniJEPA는 인터넷 규모의 조작 비디오 데이터로 사전 학습하여 고차원 시각 특징을 동적으로 모델링하는 능력을 확보하며, 이후 로봇 데이터로 미세 조정하여 예측적 표현에서 행동 토큰으로의 매핑을 학습한다. 이를 통해 시뮬레이션 환경과 실제 실험에서 기존 방법을 능가하는 우수한 성능을 달성했다.

🔑 시사점 및 한계

•

시각 이해와 동적 미래 예측 능력을 통합한 사전 학습 방식이 로봇 정책 학습에 효과적임을 입증했다.

•

인터넷 규모의 비디오 데이터를 활용한 사전 학습이 로봇의 일반화 성능을 크게 향상시킬 수 있음을 보여준다.

•

실제 환경에서의 더 넓은 범위의 작업 및 복잡한 상호작용에 대한 적용 가능성을 탐색할 필요가 있다.

PDF 보기

Made with Slashpage