본 논문은 Cohen의 kappa나 클래스 내 상관관계와 같은 일치도 측정을 다룹니다. 이러한 측정은 의학적 치료 및 임상 시험의 효과 평가부터 분류기를 축소함으로써 발생하는 근사치를 정량화하는 인공 지능에 이르기까지 광범위한 맥락에서 사용됩니다. 다양한 분류기의 일관성은 골든 스탠다드와의 일치도 측정치에 의해 유도된 순서를 사용하여 간단하게 비교할 수 있습니다. 하지만 일치도 측정치의 값만을 사용하여 접근 방식을 좋거나 나쁘다고 평가하려면 척도 또는 유의미성 지수가 필요합니다. Cohen의 kappa에 대해 일부 품질 척도가 제시되었지만, 대부분 단순하며 경계가 임의적입니다. 본 연구는 두 분류기 간의 일치도 값의 유의미성을 평가하는 일반적인 접근 방식을 제안하고 두 가지 유의미성 지수(유한 데이터 세트를 다루는 하나, 분류 확률 분포를 다루는 또 다른 하나)를 소개합니다. 또한 이 논문은 이러한 지수를 평가하는 계산 문제를 고려하고 이를 평가하기 위한 효율적인 알고리즘을 제시합니다.
