LaMOuR: Leveraging Language Models for Out-of-Distribution Recovery in Reinforcement Learning
Created by
Haebom
저자
Chan Kim, Seung-Woo Seo, Seong-Woo Kim
개요
심층 강화 학습(DRL)은 로봇 제어 분야에서 뛰어난 성능을 보였지만, 분포 외(OOD) 상태에 취약하여 신뢰할 수 없는 동작과 작업 실패로 이어지는 경우가 많습니다. 기존 방법들은 OOD 발생을 최소화하거나 방지하는 데 중점을 두었지만, 에이전트가 OOD 상태를 만났을 때의 복구는 크게 간과했습니다. 최근 연구에서는 에이전트를 분포 내 상태로 다시 안내하여 이 문제를 해결하려는 시도가 있었지만, 불확실성 추정에 의존하기 때문에 복잡한 환경에서 확장성이 떨어집니다. 이러한 한계를 극복하기 위해, 본 논문에서는 불확실성 추정에 의존하지 않고 복구 학습을 가능하게 하는 Language Models for Out-of-Distribution Recovery (LaMOuR)을 제시합니다. LaMOuR은 LVLMs의 이미지 설명, 논리적 추론 및 코드 생성 기능을 활용하여 에이전트를 원래 작업을 성공적으로 수행할 수 있는 상태로 안내하는 밀집 보상 코드를 생성합니다. 실험 결과, LaMOuR은 다양한 이동 작업에서 복구 효율을 크게 향상시키며, 기존 방법이 어려움을 겪는 인간형 로봇 이동 및 모바일 조작을 포함한 복잡한 환경에도 효과적으로 일반화됨을 보여줍니다. 코드 및 보충 자료는 https://lamour-rl.github.io/에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
불확실성 추정에 의존하지 않고 OOD 상태에서의 복구를 가능하게 하는 새로운 방법(LaMOuR) 제시.
◦
LVLMs의 다양한 기능을 활용하여 복구 효율 향상 및 복잡한 환경으로의 일반화 달성.
◦
다양한 로봇 작업(이동, 모바일 조작 등)에서 효과적인 복구 성능 입증.
•
한계점:
◦
LVLMs의 성능에 의존적일 수 있음. LVLMs의 성능 저하가 LaMOuR의 성능에 직접적인 영향을 미칠 가능성 존재.
◦
대규모 언어 모델의 계산 비용이 높을 수 있음. 실시간 응용에 제약이 있을 수 있음.
◦
복구 과정에서 발생할 수 있는 예상치 못한 상황에 대한 대처 방안에 대한 추가 연구 필요.
