본 논문은 강화학습 에이전트의 행동을 제약하는 데 선형 시간 논리(LTL)를 사용하지만, 만족 조건과 최적화 조건이 모두 존재하는 환경에서는 LTL만으로는 두 조건을 모두 포착하기에 부족하다는 문제를 제기합니다. 따라서 LTL 제약 하에서 스칼라 보상을 최적화하는 LTL 제약 정책 최적화가 필요하며, 이는 심층 강화학습(DRL) 환경에서 어려움을 겪습니다. 이는 LTL 만족의 희소성으로 인해 학습된 정책이 LTL 제약을 무시하는 경향이 있기 때문입니다. 이 문제를 해결하기 위해, 논문에서는 LTL 제약의 구조를 활용하여 제약을 준수하는 부분적 행동을 장려함으로써 정책을 만족으로 이끄는 새로운 보상 형성 기법인 Cycle Experience Replay (CyclER)를 제시합니다. CyclER 최적화를 통해 거의 최적의 확률로 LTL 제약을 만족하는 정책을 달성할 수 있다는 이론적 보장을 제공하며, 세 가지 연속 제어 도메인에서 CyclER을 평가하여 기존 보상 형성 방법보다 성능이 뛰어난 LTL 만족 정책을 찾는다는 실험 결과를 제시합니다.
