본 논문은 대규모 언어 모델(LLM)을 주석자, 판정자, 평가자로 활용하는 "LLM-as-an-annotator" 및 "LLM-as-a-judge" 패러다임에 대해 다룹니다. LLM 주석은 NLP 연구뿐만 아니라 의학, 심리학, 사회과학 등 다양한 분야에서 널리 사용되지만, LLM이 인간 주석자를 대체할 수 있는지 판단하는 표준화되고 엄격한 절차는 없습니다. 본 논문에서는 LLM 주석 사용을 정당화하기 위해 적은 양의 주석된 예제만 필요로 하는 새로운 통계적 절차인 대안 주석자 검정(alt-test)을 제안합니다. 또한 LLM 주석자와 판정자를 비교하기 위한 다용도적이고 해석 가능한 척도를 제시합니다. 10개의 다양한 언어 및 비전-언어 작업 데이터셋을 사용하여 6개의 LLM과 4가지 프롬프팅 기법으로 실험을 수행한 결과, 폐쇄형 LLM(예: GPT-4o)은 개방형 LLM보다 성능이 우수하며 프롬프팅 기법에 따라 판정자의 질이 달라짐을 보였습니다.
