온-정책 강화 학습 알고리즘은 성능과 안정성이 뛰어나지만, 배치 크기가 커질수록 정책 유도 다양성이 제한되어 중복된 데이터를 생성하며 확장성에 어려움을 겪습니다. 반면, 진화 알고리즘(EA)은 자연스럽게 확장되며 무작위 기반 탐색을 통해 탐험을 장려하지만, 샘플 효율성이 떨어집니다. 본 논문은 EA의 확장성과 다양성, 정책 경사법의 성능과 안정성을 결합한 하이브리드 알고리즘인 EPO(Evolutionary Policy Optimization)를 제안합니다. EPO는 잠재 변수에 따라 조건화된 에이전트 집단을 유지하고, 일관성과 메모리 효율성을 위해 액터-크리틱 네트워크 파라미터를 공유하며, 다양한 경험을 마스터 에이전트에 통합합니다. 숙련된 조작, 다리 로봇 이동, 고전적인 제어 작업에서 EPO는 샘플 효율성, 점근적 성능 및 확장성 측면에서 최첨단 기준선을 능가합니다.
