AdaWorld: Learning Adaptable World Models with Latent Actions
Created by
Haebom
저자
Shenyuan Gao, Siyuan Zhou, Yilun Du, Jun Zhang, Chuang Gan
개요
AdaWorld는 제한된 상호작용을 통해 새로운 환경에 적응하는 데 어려움을 겪는 기존 월드 모델의 한계를 극복하기 위해 제안된 혁신적인 월드 모델 학습 접근 방식입니다. AdaWorld는 월드 모델의 사전 학습 과정에 행동 정보를 통합하는 것이 핵심 아이디어입니다. 비디오에서 자기 지도 학습 방식으로 잠재적인 행동을 추출하여 프레임 간의 가장 중요한 전이를 포착하고, 이러한 잠재 행동을 조건으로 하는 자기 회귀 월드 모델을 개발합니다. 이 학습 패러다임을 통해 제한된 상호 작용과 미세 조정만으로도 새로운 행동의 효율적인 전이 학습이 가능한 고도로 적응 가능한 월드 모델을 구현합니다. 다양한 환경에서의 포괄적인 실험을 통해 AdaWorld가 시뮬레이션 품질과 시각적 계획 모두에서 우수한 성능을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
제한된 데이터와 상호작용으로도 새로운 환경에 효율적으로 적응 가능한 월드 모델 학습 방법 제시
