Automated Model Evaluation for Object Detection via Prediction Consistency and Reliability
Created by
Haebom
저자
Seungju Yoo, Hyuk Kwon, Joong-Won Hwang, Kibok Lee
AutoEval: 객체 감지를 위한 자동화된 모델 평가 프레임워크
개요
본 논문은 객체 감지 모델의 성능 평가에 필요한 수동 주석 작업을 줄이기 위해 개발된 자동화된 모델 평가 프레임워크(AutoEval)에 대해 설명합니다. 이 프레임워크는 Prediction Consistency and Reliability (PCR)라는 새로운 지표를 제안합니다. PCR은 NMS(non-maximum suppression) 이전과 이후의 경계 상자 간의 공간적 일관성과 겹치는 상자의 신뢰도를 통해 ground-truth 없이 객체 감지 성능을 추정합니다. 더욱 현실적이고 확장 가능한 평가를 위해 다양한 강도의 이미지 손상을 적용하여 메타 데이터 세트를 구축했습니다.
시사점, 한계점
•
시사점:
◦
수동 주석 없이 객체 감지 모델의 성능을 효율적으로 평가하는 AutoEval 프레임워크 개발.