RIPT-VLA는 사전 훈련된 Vision-Language-Action (VLA) 모델을 희소 이진 성공 보상만을 사용하여 미세 조정하는 단순하고 확장 가능한 강화 학습 기반 대화형 사후 훈련 패러다임입니다. 기존 VLA 훈련 파이프라인은 오프라인 전문가 데모 데이터와 지도 학습 모방에 크게 의존하여 저데이터 환경에서 새로운 작업과 환경에 적응하는 능력이 제한됩니다. RIPT-VLA는 동적 롤아웃 샘플링 및 leave-one-out 이점 추정을 기반으로 안정적인 정책 최적화 알고리즘을 통해 대화형 사후 훈련을 가능하게 함으로써 이 문제를 해결합니다. RIPT-VLA는 다양한 VLA 모델에 적용 가능하며 경량 QueST 모델을 21.2% 향상시키고, 7B OpenVLA-OFT 모델의 성공률을 전례 없는 97.5%로 향상시킵니다. 또한 계산 효율적이고 데이터 효율적이며, 단 하나의 데모만으로 15회 반복 내에 작동 불가능한 SFT 모델(4%)의 성공률을 97%로 높입니다. RIPT-VLA에 의해 학습된 정책은 다양한 작업과 시나리오에서 일반화되며 초기 상태 맥락에 대해 강건합니다. 이러한 결과는 RIPT-VLA가 최소한의 감독을 통해 VLA 모델을 사후 훈련하는 실용적이고 효과적인 패러다임임을 강조합니다.
