ViPRA (Video Prediction for Robot Actions)는 비디오 예측 모델을 로봇 정책으로 변환하는 프레임워크입니다. 이 프레임워크는 레이블이 없는 비디오(예: 사람 또는 원격 조작 로봇의 비디오)를 사용하여 연속적인 로봇 제어를 학습합니다. ViPRA는 미래 시각적 관찰과 동작 중심 잠재 동작을 예측하는 비디오-언어 모델을 훈련하여 장면 역학의 중간 표현을 만듭니다. 이 잠재 동작은 지각 손실 및 광학 흐름 일관성을 사용하여 훈련됩니다. 다운스트림 제어를 위해, ViPRA는 100~200개의 원격 조작 데모만 사용하여 잠재 동작을 로봇별 연속 동작 시퀀스에 매핑하는 청크된 흐름 매칭 디코더를 도입합니다. ViPRA는 SIMPLER 벤치마크에서 16%, 실제 조작 작업에서 13% 향상을 보였습니다.
