본 논문은 실세계 적용에서 기본 도구가 된 온-폴리시 강화학습의 샘플 효율성 문제를 다룹니다. GPU 기반 시뮬레이션의 발전으로 RL 훈련을 위한 방대한 데이터 수집이 가능해졌지만, PPO와 같은 기존 온-폴리시 방법은 병렬 환경의 장점을 완전히 활용하지 못하고 성능이 포화되는 한계를 보입니다. 반면, 진화 알고리즘(EA)은 무작위성을 통해 다양성을 증가시키는 데 탁월하지만, 기존 EvoRL 방법은 샘플 효율성이 극히 낮아 널리 채택되지 못했습니다. 본 논문에서는 EA와 정책 경사의 장점을 결합한 새로운 정책 경사 알고리즘인 진화 정책 최적화(EPO)를 제시하고, 다양하고 어려운 환경에서 EPO가 성능을 크게 향상시키고 병렬 시뮬레이션에서 뛰어난 확장성을 보임을 보여줍니다.
