Recitation over Reasoning: How Cutting-Edge Language Models Can Fail on Elementary School-Level Reasoning Problems?
Created by
Haebom
Category
Empty
저자
Kai Yan, Yufei Xu, Zhengyin Du, Xuesong Yao, Zheyu Wang, Xiaowen Guo, Jiecao Chen
개요
본 논문은 대규모 언어 모델(LLM)의 단순 암기 행태를 파악하기 위한 새로운 멀티모달 벤치마크 RoR-Bench를 제안합니다. RoR-Bench는 조건 변화에 민감하게 반응하여 LLM의 암기 여부를 감지합니다. 연구 결과, 최첨단 LLM들이 초등학교 수준의 문제에서도 조건 변화에 따라 심각한 성능 저하를 보이며 암기 행태를 드러냄을 확인했습니다. 이는 LLM의 진정한 지능 수준에 대한 재평가를 촉구합니다.
시사점, 한계점
•
시사점:
◦
최첨단 LLM의 추론 능력이 실제 지능이 아닌 암기에 기반할 수 있음을 시사합니다.
◦
조건 변화에 민감한 RoR-Bench를 통해 LLM의 암기 행태를 효과적으로 감지할 수 있음을 보여줍니다.
◦
LLM 커뮤니티가 LLM의 진정한 지능 수준에 대해 다시 고민하도록 유도합니다.
•
한계점:
◦
RoR-Bench의 문제 유형 및 난이도에 대한 추가적인 연구가 필요합니다.
◦
RoR-Bench가 모든 암기 행태를 완벽하게 감지할 수 있는지에 대한 추가적인 검증이 필요합니다.
