WorldVLA: Towards Autoregressive Action World Model
Created by
Haebom
저자
Jun Cen, Chaohui Yu, Hangjie Yuan, Yuming Jiang, Siteng Huang, Jiayan Guo, Xin Li, Yibing Song, Hao Luo, Fan Wang, Deli Zhao, Hao Chen
개요
WorldVLA는 행동과 이미지 이해 및 생성을 통합하는 자동회귀적 행동 세계 모델입니다. Vision-Language-Action (VLA) 모델과 세계 모델을 단일 프레임워크로 통합하여 행동과 이미지 이해를 활용하여 미래 이미지를 예측하고, 환경의 기본 물리 법칙을 학습하여 행동 생성을 개선합니다. 이미지 관찰을 기반으로 후속 행동을 생성하는 행동 모델은 시각적 이해를 돕고 세계 모델의 시각적 생성을 지원합니다. WorldVLA는 독립적인 행동 및 세계 모델보다 성능이 우수하며, 세계 모델과 행동 모델 간의 상호 강화 효과를 보여줍니다. 하지만 자동회귀 방식으로 행동 시퀀스를 생성할 때 행동 모델의 성능이 저하되는데, 이는 행동 예측에 대한 모델의 일반화 능력이 제한적이어서 초기 행동의 오류가 후속 행동으로 전파되기 때문입니다. 이 문제를 해결하기 위해 현재 행동 생성 중 이전 행동을 선택적으로 마스킹하는 어텐션 마스크 전략을 제안하여 행동 청크 생성 작업에서 성능을 크게 향상시켰습니다.
시사점, 한계점
•
시사점: VLA 모델과 세계 모델의 통합을 통해 행동 및 이미지 이해와 생성 성능 향상을 달성. 행동 모델과 세계 모델 간의 상호 강화 효과를 입증. 어텐션 마스크 전략을 통해 자동회귀적 행동 생성 시 발생하는 오류 전파 문제 해결.
•
한계점: 자동회귀적 행동 생성 시 행동 모델의 성능 저하 문제 발생. 행동 예측에 대한 모델의 일반화 능력이 제한적임.
