본 논문은 인터넷에 공개된 대규모 언어 모델(LLM) 벤치마크가 향후 LLM의 학습이나 선택에 의도치 않게(혹은 의도적으로) 사용되어 모델 오염을 야기할 위험성을 제기한다. 기존의 해결책인 벤치마크 비공개 및 참가자의 모델/예측 제출 방식은 단일 기관에 대한 신뢰에 의존하며 반복적인 질의를 통한 테스트셋 과적합 가능성을 남긴다. 이를 해결하기 위해, 본 논문은 정답을 완전히 공개하지 않으면서도 LLM을 공개적으로 평가할 수 있는 방법을 제안한다. 핵심 아이디어는 여러 개의 논리적으로 정확한 답변을 준비하고 그 중 하나만 정답으로 포함시켜 답변에 무작위성을 주입하는 것이다. 이는 벤치마크의 베이즈 정확도(Bayes accuracy)를 낮추고, 정답 유출을 방지하는 동시에 데이터 오염 감지를 위한 테스트를 제공한다. 완벽한 모델조차 베이즈 정확도를 넘어서는 것은 불가능하며, 이를 초과하는 경우 데이터 오염의 강력한 신호로 간주할 수 있다. 실험을 통해 다양한 벤치마크, 모델 및 학습 방법에서 제안된 방법이 데이터 오염을 정확하게 감지할 수 있음을 보여준다.
