Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
Created by
Haebom
저자
Younghwan Lee, Tung M. Luu, Donghoon Lee, Chang D. Yoo
개요
본 논문은 오프라인 강화학습에서 고비용의 수동적 보상 신호 설계 문제를 해결하기 위해, 대규모 비전-언어 모델(LVLMs)을 활용한 보상 생성 모델인 RG-VLM을 제안합니다. RG-VLM은 인간의 개입 없이 오프라인 데이터로부터 보상을 생성하여, 특히 장기간 과제에서 일반화 성능을 향상시키고, 기존의 희소 보상 신호와의 통합을 통해 과제 수행 성능을 개선합니다. 이는 보조 보상 신호로서 RG-VLM의 잠재력을 보여줍니다.
시사점, 한계점
•
시사점:
◦
오프라인 강화학습에서 인간의 개입 없이 보상 신호를 자동으로 생성하는 새로운 방법 제시
◦
대규모 비전-언어 모델의 추론 능력을 활용하여 장기간 과제에서의 일반화 성능 향상
◦
기존 희소 보상 신호와의 통합을 통한 과제 수행 성능 개선
◦
인간 피드백 기반 강화학습의 비용 문제 해결에 기여
•
한계점:
◦
제안된 모델의 성능 평가에 대한 자세한 분석 부족 (예: 다양한 환경 및 과제에 대한 일반화 성능 분석)
