본 논문은 주관적이거나 어려운 주석 작업에서 신뢰성 향상을 위해 절대 등급 또는 서열 분류보다 쌍대 비교를 선호하는 경향에 대해 다룹니다. 기존의 모든 쌍 비교는 많은 주석(O(n^2))을 필요로 하지만, 최근 연구는 정렬 알고리즘을 사용하여 쌍대 비교를 적극적으로 샘플링함으로써 주석 부담을 크게 줄였습니다(O(n log n)). 본 논문에서는 (1) 훈련 없이 계층적으로 CLIP(Contrastive Language-Image Pre-training) 모델을 사용하여 항목을 대략적으로 사전 정렬하고, (2) 쉽고 명백한 사람의 비교를 자동화된 비교로 대체함으로써 주석 효율을 더욱 향상시킵니다. 제안된 EZ-Sort는 먼저 CLIP 기반 제로샷 사전 정렬을 생성한 다음, 버킷 인식 Elo 점수를 초기화하고, 마지막으로 불확실성 기반 인간 참여 MergeSort를 실행합니다. FGNET(얼굴 나이 추정), DHCI(역사적 이미지 연대기), EyePACS(망막 영상 품질 평가) 등 다양한 데이터셋을 사용하여 검증을 수행했습니다. 그 결과, EZ-Sort는 완전한 쌍대 비교에 비해 90.5%, 기존 연구에 비해 19.8%(n = 100일 때) 인간 주석 비용을 절감하면서 평가자 간 신뢰도를 유지하거나 향상시켰습니다. 이러한 결과는 CLIP 기반 사전 정보와 불확실성 인식 샘플링을 결합하면 효율적이고 확장 가능한 쌍대 순위 지정 솔루션을 얻을 수 있음을 보여줍니다.
