본 논문은 인터넷에 대규모 언어 모델(LLM) 벤치마크를 공개할 경우 향후 LLM에 대한 오염 위험을 제기하고, 이를 해결하기 위한 새로운 방법을 제안합니다. 기존의 비공개 벤치마크 접근 방식은 신뢰 문제와 반복적인 질의를 통한 과적합 문제를 야기합니다. 본 논문에서는 질문에 대한 정답을 완전히 공개하지 않으면서 LLM을 공개적으로 평가할 수 있는 방법을 제시합니다. 핵심 아이디어는 논리적으로 정답이 될 수 있는 여러 개의 답변을 준비하고, 그 중 하나만 벤치마크의 정답으로 포함하는 것입니다. 이를 통해 벤치마크의 베이즈 정확도(Bayes accuracy)를 낮추고, 지상 진실(ground truth)의 유출을 방지하며, 데이터 오염 감지를 위한 테스트를 제공합니다. 실험 결과, 제안된 방법이 다양한 벤치마크, 모델, 훈련 방법에서 데이터 오염을 정확하게 감지할 수 있음을 보여줍니다.
