Validation of Conformal Prediction in Cervical Atypia Classification
Created by
Haebom
저자
Misgina Tsighe Hagos, Antti Suutala, Dmitrii Bychkov, Hakan Kucukel, Joar von Bahr, Milda Poceviciute, Johan Lundin, Nina Linder, Claes Lundstrom
개요
본 논문은 자궁경부암 선별검사 접근성 향상을 위해 심층 학습 기반 자궁경부암 분류 모델을 활용하는 방안을 제시합니다. 하지만 심층 학습 모델은 과신뢰 경향이 있으며 진단 불확실성을 제대로 반영하지 못하는 한계가 있습니다. 이러한 문제 해결을 위해 모델과 무관한 예측 구간 생성 프레임워크인 conformal prediction을 적용하여, 신뢰도를 나타내는 예측 집합 크기를 조정하며, 예측 집합에 포함될 가능성이 높은 클래스를 제시합니다. 기존 conformal prediction 평가는 예측 집합에 실제 클래스가 포함되는지 여부에만 초점을 맞추어, 잘못된 양성이나 가능성 낮은 클래스 포함 등의 문제점을 간과합니다. 따라서 본 연구는 다수의 전문가 주석 데이터를 사용하여 세 가지 심층 학습 모델에 적용된 세 가지 conformal prediction 방법을 종합적으로 검증합니다. 전문가 주석 기반 분석을 통해 기존 적용률 기반 평가가 성능을 과대평가하며, 현존 conformal prediction 방법이 종종 인간 레이블과 잘 맞지 않는 예측 집합을 생성함을 밝힙니다. 또한, 모호하거나 분포 밖의 데이터를 식별하는 conformal prediction 방법의 역량을 조사합니다.
시사점, 한계점
•
시사점:
◦
전문가 주석을 활용한 conformal prediction의 실제 성능 평가 기준 제시
◦
기존 적용률 기반 평가의 한계점을 지적하고, 더욱 정확한 평가 방법 필요성 제시
◦
conformal prediction을 이용한 불확실성 표현 및 모호한 데이터 식별 가능성 확인
