본 논문은 Cohen's kappa나 intraclass correlation과 같은 일치도 측정 지표를 다룹니다. 이 지표들은 의료 치료 및 임상 시험의 효과 평가부터 분류기의 감소로 인한 근사치 정량화까지 다양한 분야(의학, 인공지능 등)에서 사용됩니다. 본 논문은 기준 분류기와의 일치도 측정값을 기반으로 분류기의 일관성을 비교하는 방법을 제시하며, 단순히 일치도 측정값만으로 접근 방식을 좋거나 나쁘다고 평가하는 것의 한계를 지적합니다. 기존의 Cohen's kappa에 대한 몇몇 척도는 단순하고 경계가 임의적이라는 문제점을 가지고 있습니다. 따라서 본 논문은 두 분류기 간의 일치도 값의 유의성을 평가하는 일반적인 접근 방식을 제안하고, 유한 데이터셋과 분류 확률 분포를 각각 다루는 두 가지 유의성 지수를 소개합니다. 또한, 이러한 지수를 효율적으로 평가하기 위한 알고리즘을 제안합니다.
