본 논문은 대규모 언어 모델(LLM) 평가에 널리 사용되는 객관식 문제(MCQ) 벤치마크의 신뢰성 저하 문제, 즉 벤치마크 오염 문제를 다룹니다. 연구는 오염을 학습의 본질적인 측면으로 재구성하여 LLM 평가에서 진정한 능력 습득과 표면적인 암기의 구분을 시도합니다. 다양한 암기 조건 하에서 모델 성능을 분석하여, LLM이 암기된 MCQ보다 암기되지 않은 MCQ에서 더 나쁜 성능을 보이는 역설적인 경향을 발견합니다. 이는 암기와 진정한 능력 학습이라는 두 가지 구별되는 학습 현상이 공존함을 시사합니다. 이를 해결하기 위해, 암기를 줄이면서 지식 평가는 유지하는 대체 삼위일체 형식으로 MCQ를 재구성하는 새로운 평가 프레임워크인 TrinEval을 제안합니다. 실험을 통해 TrinEval의 재구성 효과를 검증하고, 일반적인 LLM이 평균 20.5%(MMLU 기준)의 지식 포인트를 암기한다는 것을 밝힙니다.
