심층 앙상블(DE)은 예측 불확실성을 정량화하고, 모델 견고성 및 신뢰성을 향상시키기 위해 aleatoric 및 epistemic 구성 요소를 구별하는 강력한 방법으로 부상했습니다. 그러나 추론 시 높은 계산 및 메모리 비용은 실제 적용에 큰 어려움을 야기합니다. 이러한 문제를 해결하기 위해, 우리는 DE를 단일 모델, 즉 분류 작업을 위한 CREDIT으로 압축하는 새로운 프레임워크인 credal ensemble distillation (CED)을 제안합니다. CREDIT은 단일 softmax 확률 분포 대신, 불확실성 정량화를 위해 credal set(확률 분포의 볼록 집합)을 정의하는 클래스별 확률 간격을 예측합니다. out-of-distribution 감지 벤치마크에 대한 실험 결과는 CED가 DE에 비해 추론 오버헤드를 실질적으로 줄이면서도 여러 기존 기준선보다 우수하거나 유사한 불확실성 추정을 달성함을 보여줍니다.
