본 논문은 대규모 언어 모델(LLM)의 벤치마크 오염 문제를 다룬다. LLM들은 방대한 데이터로 학습되는데, 이 데이터에는 흔히 사용되는 벤치마크 데이터가 의도적 또는 비의도적으로 포함될 수 있다. 이로 인해 모델 순위표에서는 높은 점수를 얻지만 실제 응용에서는 실망스러운 성능을 보일 수 있다. 본 논문에서는 실용적인 오염 감지 방법이 따라야 할 요구사항들을 제시하고, 이 요구사항들을 바탕으로 벤치마크 오염을 효과적으로 감지하는 PaCoST(Paired Confidence Significance Testing) 방법을 제안한다. PaCoST는 동일한 분포를 가진 각 데이터에 대한 대응 데이터를 생성하고, 해당 신뢰도에 대한 통계적 분석을 수행하여 모델이 원래 벤치마크에서 유의미하게 더 높은 신뢰도를 보이는지 여부를 검증한다. 실험을 통해 PaCoST의 효과를 검증하고, 여러 오픈소스 모델과 벤치마크에 적용하여 대부분의 모델과 벤치마크가 어느 정도 오염된 것으로 의심된다는 결과를 얻었다. 마지막으로 새로운 LLM 평가 방법의 필요성을 강조한다.
