Creativity or Brute Force? Using Brainteasers as a Window into the Problem-Solving Abilities of Large Language Models
Created by
Haebom
Category
Empty
저자
Simeng Han, Howard Dai, Stephen Xia, Grant Zhang, Chen Liu, Lichang Chen, Hoang Huy Nguyen, Hongyuan Mei, Jiayuan Mao, R. Thomas McCoy
개요
본 논문은 AI 시스템 평가의 한계점을 극복하기 위해, 장문의 서술형 두뇌 훈련 문제를 활용한 새로운 벤치마크를 제시합니다. 다양한 해결 방식을 요구하는 두뇌 훈련 문제를 통해 모델의 추론 전략을 심층적으로 분석하고, 정확성뿐만 아니라 해결책의 질과 창의성에 초점을 맞춥니다. 이 연구는 의미론적 파싱, 해결책 생성, 자기 수정, 단계별 해결책 스케치 생성, 힌트 활용 등 다양한 추론 측면을 탐구합니다. 대규모 언어 모델(LLM)이 창의적인 해결책을 제시하는 능력을 보이지만, 효율적인 방법 대신 무차별 대입 방식에 의존하는 경우도 발견되어 LLM의 추론 능력 향상 방향성을 제시합니다.
