Vision-Language-Action (VLA) 모델은 일반적인 로봇 조작에 잠재력이 있지만, 전문가 시연에 의존하여 실패로부터 학습하고 자기 교정을 수행하는 데 제한이 있다. WMPO (World-Model-based Policy Optimization)는 실제 환경과 상호 작용 없이 온-정책 VLA RL을 위한 프레임워크를 제시한다. WMPO는 "상상된" 궤적을 웹 규모 이미지로 사전 훈련된 VLA 특징과 일치시키는 픽셀 기반 예측에 초점을 맞춘다. WMPO는 정책이 온-정책 GRPO를 수행하여 오프-정책 방법보다 강력한 성능을 제공한다. 시뮬레이션 및 실제 로봇 실험에서 WMPO는 샘플 효율성을 향상시키고, 전반적인 성능을 강화하며, 자기 교정과 같은 새로운 동작을 보이며, 견고한 일반화 및 평생 학습 능력을 보여준다.
