Soft Contamination Means Benchmarks Test Shallow Generalization

Created by

Haebom

저자

Ari Spiesberger, Juan J. Vazquez, Nicky Pochinkov, Toma\v{s} Gaven\v{c}iak, Peli Grietzer, Gavin Leech, Nandi Schoots

💡 개요

본 연구는 대규모 언어 모델(LLM) 훈련 데이터에 벤치마크 테스트 데이터가 미묘하게 포함되는 '소프트 오염' 현상이 외적 일반화(OOD generalization) 성능 평가를 왜곡함을 지적합니다. 기존의 n-그램 기반 제거 방식이 의미적으로 동등하지만 문자열상으로는 유사하지 않은 데이터를 탐지하지 못하는 한계를 파악하고, 의미 중복(semantic duplicates)을 통한 훈련 데이터의 소프트 오염을 분석합니다. 실험 결과, 훈련 코퍼스에 의미 중복이 광범위하게 존재하며, 이러한 중복 데이터를 훈련에 포함시키면 벤치마크 성능이 향상되고, 진정한 의미의 외부 데이터셋에서도 성능이 개선됨을 확인했습니다.

🔑 시사점 및 한계

•

벤치마크 성능 향상이 실제 LLM의 일반화 능력 개선보다는 훈련 데이터에 포함된 벤치마크 데이터 자체의 영향으로 과대평가될 수 있습니다.

•

기존의 텍스트 유사도 기반 데이터 정제 기법은 의미 중복을 탐지하는 데 한계가 있어, LLM의 일반화 능력 평가에 대한 신뢰도를 저하시킬 수 있습니다.

•

향후 LLM의 진정한 외적 일반화 성능을 평가하기 위해서는 의미적 유사성을 고려한 정교한 데이터 오염 탐지 및 제거 기법 개발이 필요합니다.

PDF 보기

Made with Slashpage