본 논문은 안전 정책 개선(SPI) 문제에 대한 연구로, 기존 행동 정책보다 신뢰도 높게 성능이 우수한 새로운 정책을 데이터셋과 행동 정책만을 사용하여 계산하는 오프라인 강화 학습 문제를 다룹니다. 기존 MDP 기반 SPI의 데이터 효율성을 높이기 위해, 전이 역학 내 분포 간의 매개변수 종속성을 활용하는 세 가지 기법을 제시합니다. 첫째, 알려진 상관관계를 이용하여 전이 역학을 더 정확하게 추정하는 매개변수 SPI 알고리즘을 제시합니다. 둘째, 게임 기반 추상화를 통해 불필요한 행동을 제거하는 전처리 기법을 제시합니다. 셋째, SMT(Satisfiability Modulo Theory) 풀이를 기반으로 더 많은 불필요한 행동을 식별하는 고급 전처리 기법을 제시합니다. 실험 결과는 제시된 기법들이 신뢰성을 유지하면서 SPI의 데이터 효율성을 몇 배 향상시킴을 보여줍니다.
