Toward Mechanistic Explanation of Deductive Reasoning in Language Models
Created by
Haebom
저자
Davide Maltoni, Matteo Ferrara
개요
최근 대규모 언어 모델은 논리적 추론이 필요한 문제 해결에 유의미한 능력을 보였지만, 내부 메커니즘은 거의 탐구되지 않았다. 이 논문은 소규모 언어 모델이 기본 규칙을 학습하여 (통계적 학습자로서 작동하는 것이 아니라) 연역적 추론 문제를 해결할 수 있음을 보여준다. 모델 내부 표현 및 계산 회로에 대한 낮은 수준의 설명이 제공된다.