본 논문은 심층 신경망의 불확실성 정량화를 위한 새로운 방법인 "상황 유사성 증류(contextual similarity distillation)"를 제안합니다. 기존의 베이지안 추론이나 딥 앙상블과 같은 방법들은 계산 비용이 많이 드는 반면, 본 논문의 방법은 넓은 신경망의 예측 가능한 학습 역학과 신경 탄젠트 커널(neural tangent kernel)을 이용하여 무한 앙상블의 예측 분산을 효율적으로 근사합니다. 앙상블 분산 계산을 커널 유사성을 회귀 목표로 하는 지도 학습 회귀 문제로 재해석하여 단일 모델로 앙상블의 분산을 추정합니다. 추론 시 단일 전방 통과로 예측 분산을 추정할 수 있으며, 비표지 데이터나 데이터 증강을 활용하여 불확실성 추정을 개선할 수 있습니다. 다양한 이상치 탐지 벤치마크와 희소 보상 강화 학습 환경에서 실험적으로 검증하여 앙상블 기반 기준 모델과 비교하여 경쟁력 있고 때로는 우수한 성능을 보이며 효율적인 탐색을 위한 신뢰할 수 있는 신호로 작용함을 확인했습니다.
