본 논문은 시간적 비정상성과 주체 이질성 하에서 이중 비균질 환경에서의 강화 학습(RL)을 연구합니다. 많은 응용 분야에서 시간과 모집단에 따라 변할 수 있는 시스템 역학에 의해 생성된 데이터 세트를 접하게 되는데, 이는 고품질 순차적 의사결정에 어려움을 초래합니다. 그러나 기존의 대부분의 RL 솔루션은 시간적 정상성 또는 주체 동질성을 필요로 하며, 두 가정이 모두 위반되면 최적이 아닌 정책을 초래합니다. 본 논문에서는 이러한 두 가지 과제를 동시에 해결하기 위해 정책 학습을 위한 시간 경과 및 개인 간에 유사한 역학을 보이는 "최적의 데이터 청크"를 결정하는 새로운 알고리즘을 제안합니다. 이 알고리즘은 최근 변경점 감지와 클러스터 식별을 번갈아 수행합니다. 본 연구의 방법은 일반적이며 광범위한 클러스터링 및 변경점 감지 알고리즘과 함께 작동합니다. 여러 초기 추정기를 입력으로 받고 그 중 하나만 일관성이 있으면 되므로 다중 강건성을 갖습니다. 또한 시간과 모집단에 걸쳐 정보를 활용함으로써 약한 신호를 감지할 수 있으며, 시간별 클러스터링 알고리즘 또는 주체별 변경점 감지 알고리즘을 적용하는 것보다 더 나은 수렴 특성을 갖습니다. 실험적으로 광범위한 시뮬레이션과 실제 데이터 응용을 통해 본 방법의 유용성을 보여줍니다.
