Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach

작성자

Haebom

카테고리

Empty

저자

Wenyun Li, Wenjie Huang, Chen Sun

💡 개요

이 논문은 강화학습에서 희소한 보상 신호를 효과적으로 학습하는 문제를 해결하기 위해 제안된 준지도 학습 기반의 보상 성형(reward shaping) 방법을 소개합니다. 제안된 방법은 0이 아닌 보상 전환뿐만 아니라, 다수의 0 보상 전환에서 궤적 공간 표현을 학습하기 위해 준지도 학습 및 새로운 데이터 증강 기법을 활용합니다. 이를 통해 기존 지도 학습 기반 접근 방식보다 뛰어난 보상 추론 성능과 에이전트 점수 향상을 달성했습니다.

🔑 시사점 및 한계

•

희소한 보상 환경에서 준지도 학습과 데이터 증강을 결합한 보상 성형이 효과적임을 입증했습니다.

•

제안된 방법은 특히 보상이 매우 희소한 환경에서 기존 지도 학습 기반 방법 대비 최대 2배 높은 최고 점수를 기록했습니다.

•

더블 엔트로피 데이터 증강 기법이 성능 향상에 기여하며, 다른 증강 방법에 비해 15.8% 높은 최고 점수를 기록했습니다.

•

향후 연구는 더 복잡한 실제 환경에 적용하거나, 데이터 증강 기법의 일반성을 더욱 높이는 방향으로 진행될 수 있습니다.

PDF 보기

Made with Slashpage