본 논문은 볼록 점수 함수로 특징지어지는 광범위한 위험 목표 하에서 강화 학습(RL) 프레임워크를 제안합니다. 이 범주에는 분산, 예상 손실(Expected Shortfall), 엔트로피 Value-at-Risk 및 평균-위험 유틸리티와 같은 많은 일반적인 위험 척도가 포함됩니다. 시간 불일치 문제를 해결하기 위해 확장된 상태 공간과 보조 변수를 고려하고 문제를 2단계 최적화 문제로 재구성합니다. 맞춤형 Actor-Critic 알고리즘을 제안하고 일부 이론적 근사 보장을 확립합니다. 주요 이론적 기여는 결과가 마르코프 의사결정 과정이 연속적일 필요가 없다는 것입니다. 또한 특정 조건 하에서 수렴하는 교대 최소화 알고리즘에서 영감을 받은 보조 변수 샘플링 방법을 제안합니다. 통계적 차익거래 거래의 금융 응용 프로그램을 사용한 시뮬레이션 실험에서 알고리즘의 효과를 검증합니다.
