Large Language Models Could Be Rote Learners

작성자

Haebom

카테고리

Empty

저자

Yuyang Xu, Renjun Hu, Haochao Ying, Jian Wu, Xing Shi, Wei Lin

💡 개요

본 연구는 대규모 언어 모델(LLM) 평가에서 벤치마크 오염 문제로 인해 발생하는 과대평가를 해결하고자 합니다. 논문은 LLM이 겉으로 드러나는 암기 학습과 실제 능력 학습을 동시에 수행하며, 특히 암기 학습이 벤치마크 오염으로 인해 발생하는 과대평가의 주요 원인임을 지적합니다. 이를 해결하기 위해, 연구진은 객관식 문제(MCQ)를 지식 중심의 세 가지 형태로 변환하여 암기를 줄이고 실제 능력을 평가하는 새로운 프레임워크인 TrinEval을 제안합니다.

🔑 시사점 및 한계

•

LLM은 벤치마크 오염 시 실제 능력보다 암기 능력에 더 의존하는 경향이 있으며, 이는 평가 결과의 신뢰성을 저해합니다.

•

TrinEval 프레임워크는 LLM의 실제 지식 습득 능력을 더 정확하게 평가할 수 있는 새로운 방법을 제시합니다.

•

현재 LLM은 MMLU 및 GSM8K 데이터셋에서 평균 19.6%의 지식 포인트를 단순 암기에 의존하는 것으로 나타났습니다.

•

TrinEval의 효과와 적용 범위는 추가적인 벤치마크와 모델에 대한 검증이 필요합니다.

PDF 보기

Made with Slashpage