Efficient Risk-sensitive Planning via Entropic Risk Measures
Created by
Haebom
저자
Alexandre Marthe (ENS de Lyon, UMPA-ENSL), Samuel Bounan (UMPA-ENSL, MC2), Aurelien Garivier (UMPA-ENSL, MC2), Claire Vernade
개요
본 논문은 마르코프 의사결정 과정(MDP)에서 꼬리 위험을 중시하는 지표를 극대화하는 정책을 찾는 위험 민감형 계획에 초점을 맞추고 있습니다. 임계값 확률이나 (조건부) 위험가치(VaR)와 같이 널리 사용되고 해석 가능한 지표의 경우, 이러한 최적화 작업은 매우 비용이 많이 들 수 있습니다. 기존 연구에서는 엔트로피 위험 측정(EntRM)만이 동적 계획법을 통해 효율적으로 최적화될 수 있음을 보였지만, 해석하기 어려운 매개변수를 선택해야 하는 문제가 있었습니다. 본 논문은 매개변수 값에 따른 EntRM에 대한 최적 정책 집합 전체를 계산하면 관심 있는 지표에 대한 정확한 근사값을 얻을 수 있음을 보입니다. 새로운 구조 분석과 엔트로피 위험의 부드러운 특성 덕분에 이러한 최적성 전선을 효과적으로 계산할 수 있음을 증명합니다. 실험 결과는 다양한 의사결정 시나리오에서 제안된 접근 방식이 강력한 성능을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
엔트로피 위험 측정(EntRM)을 이용하여 꼬리 위험을 중시하는 다양한 지표를 효율적으로 근사할 수 있는 새로운 방법 제시.
◦
최적성 전선을 효과적으로 계산하는 방법을 제시하여, 다양한 위험 선호도에 따른 최적 정책을 파악 가능.