본 논문은 최첨단 강화학습 방법이 때때로 안전하지 않은 상황에 직면하는 문제를 다룬다. 이러한 상황을 식별하는 것은 사후 분석과 배포 중 모두 중요하며, 인간 감독관의 도움을 요청하는 것이 유리할 수 있다. 기존 연구들은 시간 경과에 따른 위험도를 측정하려는 시도를 했지만, 정확한 기준이 부족하고 최종 사용자가 쉽게 해석할 수 있도록 설계되지 않았다. 따라서 본 논문은 정량화 가능한 기준과 사용자에게 명확한 의미를 갖는 위험도 프레임워크를 정의하고자 한다. 진정한 위험도를 에이전트가 정책에서 벗어나 n개의 연속적인 무작위 행동을 할 때 예상되는 보상 감소로 정의하고, 진정한 위험도와 통계적으로 단조 관계를 갖는 저 오버헤드 지표인 프록시 위험도 개념을 도입한다. 안전 마진은 특정 허용 오차를 높은 확신으로 초과하지 않을 무작위 행동의 수로 정의하여 이러한 지표들을 해석 가능하게 만든다. Atari Beamrider 환경에서 A3C 에이전트를 사용한 실험에서, 가장 낮은 5%의 안전 마진에 에이전트 손실의 47%가 포함되는 것을 보여준다. 즉, 결정의 5%만 감독하면 에이전트의 약 절반의 오류를 예방할 수 있다는 것을 의미한다. 이 위험도 프레임워크는 나쁜 결정이 내려지기 전에 그 잠재적 영향을 측정하여 자율 에이전트의 효과적인 디버깅 및 감독을 가능하게 한다.
