A Survey of Sim-to-Real Methods in RL: Progress, Prospects and Challenges with Foundation Models
Created by
- Haebom
Category
Empty
저자
Longchao Da, Justin Turnau, Thirulogasankar Pranav Kutralingam, Alvaro Velasquez, Paulo Shakarian, Hua Wei
개요
본 논문은 심층 강화학습(Deep Reinforcement Learning, RL)의 시뮬레이터 학습과 실세계 적용 간의 차이(sim-to-real gap) 문제를 해결하기 위한 다양한 기법들을 체계적으로 정리한 최초의 조사 논문이다. 마르코프 결정 과정(Markov Decision Process, MDP)의 핵심 요소(상태, 행동, 전이, 보상)를 기반으로 심층 강화학습의 sim-to-real 기법들을 분류하고, 기존 방법부터 최신 대규모 언어 모델(foundation models) 기반 기법까지 포괄적으로 다룬다. 또한, 각 도메인별 특징과 sim-to-real 성능 평가 과정, 그리고 접근 가능한 코드나 벤치마크를 제시하며, 향후 연구 방향에 대한 과제와 기회를 제시한다. 마지막으로, 최신 연구 동향을 지속적으로 반영하는 저장소를 유지 관리한다고 밝히고 있다.
시사점, 한계점
•
시사점:
◦
MDP의 핵심 요소를 기반으로 한 sim-to-real 기법들의 체계적인 분류 제공
◦
기존 및 최신 기법(대규모 언어 모델 기반 기법 포함)에 대한 포괄적인 문헌 검토
◦
각 도메인별 sim-to-real 문제의 특징과 성능 평가 방법 제시
◦
향후 연구를 위한 과제 및 기회 제시
◦
최신 연구 동향을 반영하는 지속적인 저장소 관리
•
한계점:
◦
본 논문이 제시하는 분류 체계의 객관성 및 포괄성에 대한 추가적인 검증 필요
◦
제시된 기법들의 실제 성능 비교 및 분석 부족 (비교 분석을 위한 벤치마크 제시는 있으나, 실제 비교 분석 결과는 부족할 수 있음)
◦
새로운 sim-to-real 기법들이 지속적으로 등장하는 만큼, 저장소의 지속적인 업데이트 및 관리의 어려움 존재
