본 논문은 기존 라벨링 평가자의 신뢰성 확보 방식이 참조 데이터에 의존하는 한계를 지적하고, 참조 데이터 없이 평가자의 신뢰성을 확보하는 새로운 알고리즘인 'No-Data Algorithm'을 제안합니다. 이 알고리즘은 평가자에게 연속적인 과제를 제시하여, 실제로 라벨링 방법을 아는 신뢰할 만한 평가자는 수용하고, 그렇지 못한 비신뢰할 만한 평가자는 식별합니다. 저자는 정확성을 위한 형식적 증명, 실험적 테스트, 저자원 언어에 대한 LLM 기반 평가자 적용 사례를 제시합니다.
