Eliciting Reasoning in Language Models with Cognitive Tools
Created by
Haebom
저자
Brown Ebouky, Andrea Bartezzaghi, Mattia Rigotti
개요
본 논문은 최신 추론 모델의 등장과 이에 대한 복제 시도를 배경으로, 인지 심리학 및 인지 아키텍처 문헌을 기반으로 한 새로운 추론 방법론을 제시한다. LLM에 특정 추론 연산을 캡슐화한 "인지 도구"를 제공하는 방식으로, GPT-4.1과 같은 모델의 성능을 크게 향상시켰다. 이는 추론 능력 발현에 있어 사전 학습된 능력과 사후 훈련 방법론 간의 관계에 대한 논쟁에 기여한다.
시사점, 한계점
•
LLM의 추론 능력 향상을 위한 새로운 방법론 제시: 인지 도구 개념을 활용하여 기존 LLM의 성능을 개선.
•
GPT-4.1과 같은 모델에서 AIME2024 문제 풀이 성능 향상: o1-preview 모델의 성능을 능가하는 결과를 달성.
•
사전 학습과 사후 훈련의 역할에 대한 논쟁에 기여: 추론 능력 발현에 있어 post-training 방법론의 중요성을 강조.
