본 논문은 강화학습(RL)에서 특히 로봇 조작이라는 어려운 영역에서 범용 에이전트를 만드는 데 중요한 확장 가능하고 일반화 가능한 보상 설계를 제시합니다. 시각-언어 모델(VLMs)을 이용한 최근 보상 설계의 발전은 유망하지만, 희소 보상의 특성으로 인해 표본 효율성이 크게 제한됩니다. 이 논문에서는 사전 훈련된 텍스트-비디오 확산 모델을 활용하여 예측된 이미지 시퀀스와 현재 관측치를 비교하여 밀집 보상을 생성하는 새로운 방법인 TeViR을 제안합니다. 11가지 복잡한 로봇 작업에 대한 실험 결과는 TeViR이 희소 보상을 활용하는 기존 방법과 최첨단(SOTA) 방법보다 우수하며, 실제 환경 보상 없이도 더 나은 표본 효율성과 성능을 달성함을 보여줍니다. 복잡한 환경에서 에이전트를 효율적으로 안내하는 TeViR의 능력은 로봇 조작 분야의 강화학습 응용 프로그램 발전에 대한 잠재력을 강조합니다.
