Affordance-Guided Reinforcement Learning via Visual Prompting
Created by
- Haebom
Category
Empty
저자
Olivia Y. Lee, Annie Xie, Kuan Fang, Karl Pertsch, Chelsea Finn
개요
본 논문은 강화 학습(RL) 기반 로봇이 보상 신호만으로 다양한 기술을 학습할 수 있는 잠재력을 가지고 있지만, 일반적인 조작 작업에 대한 강력하고 밀집된 보상 신호를 얻는 것이 어려운 점을 지적합니다. 기존의 학습 기반 접근 방식은 작업 특정 보상 함수를 학습하기 위해 성공과 실패에 대한 인간 시범과 같은 상당한 데이터를 필요로 합니다. 본 논문에서는 시각 언어 모델(VLMs)에 의해 형성된 보상을 활용하는 방법인 KAGI(Keypoint-based Affordance Guidance for Improvements)를 제시합니다. 최첨단 VLMs는 제로샷에서 키포인트를 통한 적응성에 대한 인상적인 추론을 보여주며, 이를 사용하여 자율 로봇 학습을 안내하는 밀집된 보상을 정의합니다. 자연어 설명으로 지정된 실제 조작 작업에서 KAGI는 자율 RL의 샘플 효율성을 향상시키고 30K 온라인 미세 조정 단계에서 작업을 성공적으로 완료할 수 있게 합니다. 또한, 사전 훈련에 사용되는 도메인 내 데모 수 감소에 대한 KAGI의 강력성을 보여주며, 45K 온라인 미세 조정 단계에서 유사한 성능에 도달합니다.
시사점, 한계점
•
시사점:
◦
시각-언어 모델(VLMs)을 활용하여 밀집된 보상을 생성함으로써 강화학습 기반 로봇 조작의 샘플 효율성을 향상시켰습니다.
◦
자연어 설명만으로 로봇 조작 작업을 성공적으로 수행할 수 있음을 보여주었습니다.
◦
도메인 내 데모 수 감소에도 강력한 성능을 유지함을 확인했습니다.
•
한계점:
◦
VLMs의 성능에 의존적이며, VLMs의 한계가 KAGI의 성능에 영향을 미칠 수 있습니다.
◦
실제 환경에서의 일반화 성능에 대한 추가적인 검증이 필요합니다.
◦
다양한 작업 유형에 대한 적용 가능성과 확장성에 대한 추가 연구가 필요합니다.
