본 논문은 대규모 언어 모델(LLM)의 벤치마크 성능이 데이터셋 특유의 표면적 단서에 대한 과의존을 반영할 수 있다는 문제를 제기하며, 이를 해결하기 위해 카멜레온 벤치마크 과적합 검출기(C-BOD)라는 메타 평가 프레임워크를 제안합니다. C-BOD는 매개변수 변환을 통해 벤치마크 프롬프트를 체계적으로 왜곡하여 LLM의 과적합 여부를 감지합니다. MMLU 벤치마크에서 26개의 주요 LLM을 평가한 결과, 적당한 변형에도 평균 2.15%의 성능 저하가 발생했으며, 26개 중 20개 모델에서 통계적으로 유의미한 차이가 나타났습니다. 기존 정확도가 높은 모델일수록 변형에 따른 성능 저하가 크고, 큰 LLM이 재구성에 더 민감하게 반응하는 경향이 확인되었는데, 이는 이러한 모델들이 고정된 프롬프트 패턴에 과도하게 의존할 수 있음을 시사합니다. 반면 Llama 계열과 기존 정확도가 낮은 모델은 성능 저하가 미미하여 표면적 단서에 대한 의존도가 낮음을 보여줍니다. C-BOD는 데이터셋 및 모델에 독립적인 설계로 훈련 파이프라인에 쉽게 통합되어 더욱 견고한 언어 이해를 촉진할 수 있습니다.
