LINGOLY-TOO: Disentangling Reasoning from Knowledge with Templatised Orthographic Obfuscation
Created by
Haebom
저자
Jude Khouja, Karolina Korgul, Simi Hellsten, Lingyi Yang, Vlad Neacsu, Harry Mayne, Ryan Kearns, Andrew Bean, Adam Mahdi
개요
LINGOLY-TOO는 대규모 언어 모델(LLM)의 추론 능력을 평가하기 위한 새로운 벤치마크입니다. 기존 벤치마크들이 LLM의 사전 지식을 활용한 암기 능력에 의존하는 경향이 있는 문제점을 해결하기 위해, 자연어를 기반으로 하되 언어적 규칙을 이용하여 문제의 변형을 생성함으로써 모델의 사전 지식 활용을 최소화합니다. 다양한 질문 변형을 통해 모델의 추론 과정을 평가하고, 일관된 추론 능력을 측정하는 지표를 사용하여 모델의 성능을 분석합니다. 실험 결과, 기존 LLM들은 사전 지식을 활용하여 추론을 회피하는 경향을 보이며, 일관된 추론 능력은 부족하고 질문 변형에 따라 성능의 변동이 큰 것으로 나타났습니다. 이는 LLM의 추론 능력이 여전히 취약함을 시사합니다. Inference-Time Compute (ITC) 모델의 발전을 반영하지만, 추론 능력 향상을 위한 추가적인 연구가 필요함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM의 추론 능력 평가를 위한 새로운 벤치마크, LINGOLY-TOO 제시
◦
LLM의 사전 지식 활용에 대한 의존성 문제점을 지적하고 이를 해결하기 위한 새로운 접근법 제시
