본 논문은 알려지지 않은 확률적 환경에서 증명 가능하게 강건한 정책을 생성하기 위한 데이터 기반 접근 방식을 제시합니다. 기존 접근 방식은 단일 환경의 모델을 구간 마르코프 의사결정 프로세스(IMDP)로 학습하고 성능에 대한 확률적으로 근사적으로 정확한(PAC) 보장을 가진 강건한 정책을 생성할 수 있지만, 불확실성의 근저에 있는 환경 매개변수의 영향에 대해 추론할 수 없습니다. 본 논문에서는 매개변수에 대한 알려지지 않은 분포를 가진 매개변수 마르코프 의사결정 프로세스(MDP)를 기반으로 하는 프레임워크를 제안합니다. 매개변수에 의해 유도된 알려지지 않은 샘플 환경 집합에 대해 IMDP를 학습하고 분석합니다. 주요 과제는 두 가지 계층의 불확실성을 결합하는 의미 있는 성능 보장을 생성하는 것입니다. (1) 알려지지 않은 분포를 가진 매개변수에 의해 유도된 여러 환경; (2) IMDP로 근사되는 알려지지 않은 유도 환경. 본 논문에서는 시나리오 최적화를 기반으로 하는 새로운 접근 방식을 제시하여, 미지의 환경에서 지정된 성능 수준을 보장할 수 있는 위험 수준을 정량화하는 단일 PAC 보장과 위험과 성능 간의 절충을 위한 수단을 제공합니다. 여러 강건한 정책 생성 방법을 사용하여 다양한 벤치마크에서 프레임워크를 구현하고 평가합니다. 본 논문의 접근 방식은 높은 신뢰도로 정책 성능에 대한 엄격한 경계를 생성함을 보여줍니다.
