본 논문은 연속 제어 로봇의 보상 함수 설계에서 발생하는 미세한 불일치나 보상 해킹 문제를 해결하기 위해, 비전-언어 모델(VLMs)을 이용한 선호도 기반 강화 학습 방법을 제시합니다. 기존의 최종 상태 이미지만을 사용하는 방법의 한계를 극복하고자, 에이전트의 전체 궤적을 보여주는 스케치를 최종 관찰 이미지에 겹쳐 VLMs의 선호도 판단 정확도를 높였습니다(약 15-20% 향상). 또한, 에이전트의 성능을 고려하여 보상 학습을 규제함으로써, 현재 정책에 의해 생성된 데이터를 기반으로 보상 모델을 최적화하여 에피소드 수익률을 향상시켰습니다(20-30% 향상). Metaworld 실험 결과, 제시된 방법은 기존 방법(50% 미만)보다 높은 성공률(70-80%)을 달성하였습니다. 이는 풍부한 시각적 표현과 에이전트 인식 보상 규제를 결합한 효과를 보여줍니다.
