본 논문은 오프라인 데이터를 사용한 강화 학습에서 Q-값 외삽 오류 문제를 해결하는 새로운 알고리즘 PARS를 제안합니다. 특히 데이터 범위를 벗어난 선형 외삽이 문제임을 보여주고, 보상 스케일링과 계층 정규화(RS-LN) 및 불가능한 행동에 대한 패널티 메커니즘(PA)을 통해 데이터 범위 밖의 Q-값을 점진적으로 감소시키는 방법을 제시합니다. D4RL 벤치마크에서 다양한 과제에 대한 실험 결과, PARS는 기존 최첨단 알고리즘에 비해 오프라인 학습 및 온라인 미세 조정 모두에서 우수한 성능을 보이며, 특히 AntMaze Ultra 과제에서 주목할 만한 성공을 거두었습니다.
시사점, 한계점
•
시사점:
◦
오프라인 강화학습에서 Q-값 외삽 오류 문제를 효과적으로 해결하는 새로운 알고리즘 PARS 제시.
◦
RS-LN 및 PA 기법을 통해 데이터 범위 밖의 Q-값을 효과적으로 제어.
◦
D4RL 벤치마크에서 기존 최고 성능 알고리즘 대비 우수한 성능 확인. 특히 AntMaze Ultra와 같은 어려운 과제에서 성능 향상.
