본 논문은 강화학습 제어 알고리즘의 분포 외 문제와 비효율적인 탐색 문제를 해결하기 위해 반사실적 경험 증강(CEA) 알고리즘을 제안합니다. CEA는 변분 오토인코더를 활용하여 상태 전이 패턴을 모델링하고, 비정상성을 모델링하기 위해 무작위성을 도입합니다. 반사실적 추론을 통해 경험 풀의 학습 데이터를 확장하며, 비유사성 가정을 따르는 환경에서 뛰어난 성능을 보입니다. 이산 관측 및 행동 공간으로 표현되는 비유사성 특성을 가진 환경 외에도, 최대 커널 밀도 추정 엔트로피 기반 샘플링 방법을 통해 다양한 환경으로 CEA를 확장합니다. 실제 정보 기반의 반사실적 상태 전이의 보상 신호를 제공하여 완전한 반사실적 경험을 구성함으로써 학습 데이터의 분포 외 문제를 완화하고, 서로 다른 특성을 가진 환경에서 기존 최첨단 알고리즘보다 우수한 성능을 보입니다. 마지막으로, 생성된 반사실적 경험과 실제 경험의 유사점, 차이점 및 특성에 대해 논의합니다. 코드는 https://github.com/Aegis1863/CEA 에서 확인할 수 있습니다.
