본 논문은 고정된 학습 데이터로부터 보상을 극대화하고 사전에 정의된 안전 제약 조건을 만족하는 의사결정 정책을 학습하는 오프라인 안전 강화 학습(OSRL)에 대해 다룹니다. 배포 중에 안전 제약 조건이 변화하는 상황에 재학습 없이 적응하는 것은 아직 미개척 과제입니다. 이 과제를 해결하기 위해, 기존 오프라인 강화 학습 알고리즘을 래핑하는 프레임워크인 제약 조건 적응 정책 전환(CAPS)을 제시합니다. CAPS는 학습 중에 다양한 보상과 비용 간의 절충안을 최적화하는 공유 표현을 가진 여러 정책을 오프라인 데이터를 사용하여 학습합니다. 테스트 중에는 현재 비용 제약 조건을 만족하는 정책 중에서 미래 보상을 극대화하는 정책을 각 상태에서 선택하여 정책 간 전환을 수행합니다. DSRL 벤치마크의 38개 과제에 대한 실험 결과, CAPS는 기존 방법보다 일관되게 우수한 성능을 보이며, OSRL을 위한 강력한 래퍼 기반 기준을 제시합니다. 코드는 https://github.com/yassineCh/CAPS 에서 공개적으로 이용 가능합니다.
