본 논문은 진화 강화 학습(ERL)의 높은 계산 비용과 낮은 탐색 효율성 문제를 해결하기 위해, 오토인코더(AE)와 쌍곡선 신경망(HNN)을 통합한 새로운 서로게이트 기반 ERL 방법을 제안합니다. AE는 고차원 정책을 저차원으로 압축하여 주요 특징을 추출하고, HNN은 분류 기반 서로게이트 모델로서 샘플링된 정책들 간의 복잡한 비선형 관계를 학습하여 실제 평가 없이 효과적인 정책을 사전 선택합니다. 10개의 Atari 게임과 4개의 Mujoco 게임에 대한 실험 결과, 제안된 방법이 기존 방법보다 성능이 크게 향상되었음을 보여주며, AE와 HNN에 의해 안내되는 탐색 경로가 탐색 및 수렴 측면에서 더 효과적임을 시각적으로 보여줍니다. 본 논문은 고차원 ERL 정책에 대한 최초의 학습 가능한 정책 임베딩 및 서로게이트 모델링 모듈을 제시하고, 이들이 성공하는 경우와 이유를 실험적으로 밝힙니다.
