본 논문은 오프라인 데이터를 사용한 강화 학습에서 Q-값 외삽 오류 문제를 해결하는 새로운 알고리즘 PARS를 제안합니다. 특히 데이터 범위를 넘어선 선형 외삽의 문제점을 지적하고, 보상 스케일링과 계층 정규화(RS-LN) 및 불가능한 행동에 대한 패널티 메커니즘(PA)을 통해 데이터 범위 밖에서 Q-값을 점진적으로 감소시키는 방법을 제시합니다. RS-LN과 PA를 결합한 PARS는 D4RL 벤치마크에서 다양한 작업에 대해 기존 최고 성능 알고리즘보다 우수한 성능을 보이며, 특히 AntMaze Ultra와 같은 어려운 작업에서 두드러지는 성공을 거둡니다.
시사점, 한계점
•
시사점:
◦
오프라인 강화 학습에서 Q-값 외삽 오류 문제 해결에 대한 새로운 접근 방식 제시.
◦
RS-LN과 PA를 결합한 PARS 알고리즘의 우수한 성능 확인 (D4RL 벤치마크 기준).
