Leveraging Language Models for Out-of-Distribution Recovery in Reinforcement Learning
Created by
Haebom
Category
Empty
저자
Chan Kim, Seung-Woo Seo, Seong-Woo Kim
개요
심층 강화 학습(DRL)은 로봇 제어에서 강력한 성능을 보여주지만, 분포 외(OOD) 상태에 취약하여 신뢰할 수 없는 동작과 작업 실패로 이어지는 경우가 많습니다. 기존 방법들은 OOD 발생을 최소화하거나 방지하는 데 중점을 두었지만, 에이전트가 OOD 상태를 만났을 때 복구에는 거의 신경 쓰지 않았습니다. 최근 연구에서는 에이전트를 분포 내 상태로 다시 안내하여 이 문제를 해결하려고 시도했지만, 불확실성 추정에 의존하기 때문에 복잡한 환경에서 확장성이 저하됩니다. 이러한 한계를 극복하기 위해, 본 논문에서는 불확실성 추정에 의존하지 않고 복구 학습을 가능하게 하는 언어 모델 기반 분포 외 복구(LaMOuR)를 제시합니다. LaMOuR은 에이전트가 원래 작업을 성공적으로 수행할 수 있는 상태로 돌아가도록 안내하는 밀집 보상 코드를 생성하며, 이미지 설명, 논리적 추론 및 코드 생성에서 LVLMs의 기능을 활용합니다. 실험 결과, LaMOuR은 다양한 이동 작업에서 복구 효율을 크게 향상시키며, 기존 방법이 어려움을 겪는 휴머노이드 이동 및 모바일 조작을 포함한 복잡한 환경에도 효과적으로 일반화됨을 보여줍니다. 코드 및 보충 자료는 https://lamour-rl.github.io/에서 확인할 수 있습니다.
