SENSEI: Semantic Exploration Guided by Foundation Models to Learn Versatile World Models
Created by
Haebom
저자
Cansu Sancaktar, Christian Gumbsch, Andrii Zadaianchuk, Pavel Kolev, Georg Martius
개요
본 논문은 강화학습에서 효과적인 탐색 전략으로서 의미론적으로 타당한 탐색(SENSEI) 프레임워크를 제안합니다. 기존의 내적 동기 부여 방식이 저수준 상호작용에 그치는 한계를 극복하기 위해, 비전 언어 모델(VLM)의 주석에서 얻은 '흥미로움' 보상 신호를 이용합니다. 모델 기반 강화학습을 통해 SENSEI는 의미론적 보상과 불확실성을 동시에 극대화하는 탐색 정책을 학습합니다. 로봇 시뮬레이션과 비디오 게임 시뮬레이션에서 이미지 관측과 저수준 행동으로부터 다양한 의미있는 행동을 발견하는 것을 보여줍니다. 이는 강력해지는 VLM로부터 학습하는 일반적인 도구를 제공합니다.
시사점, 한계점
•
시사점:
◦
기존 내적 동기 부여 방식의 한계(저수준 상호작용)를 극복하는 새로운 접근법 제시.
◦
VLM을 활용하여 의미있는 고수준 행동을 유도하는 효과적인 방법 제시.
◦
모델 기반 강화학습과 VLM을 결합하여 시뮬레이션 환경에서 다양한 의미있는 행동 학습 성공.
◦
강력해지는 VLM을 활용한 강화학습 연구에 중요한 방향 제시.
•
한계점:
◦
VLM 주석에 대한 의존성이 높음. VLM의 성능에 따라 SENSEI의 성능이 크게 영향받을 수 있음.
◦
현재는 시뮬레이션 환경에서만 평가되었으므로 실제 로봇 환경으로의 전이 가능성에 대한 추가 연구 필요.
