본 논문은 대규모 언어 모델(LLM)의 추론 능력의 강건성과 구조적 추론 메커니즘에 대한 의존성에 대한 논쟁을 해결하기 위해, LLM에서 추상적 추론을 지원하는 내부 메커니즘을 연구합니다. 연구 결과, LLM 내에서 추상적 추론을 수행하는 세 가지 계산으로 구성된 출현적 기호 아키텍처를 확인했습니다. 초기 계층에서는 기호 추상화 헤드가 입력 토큰을 토큰 간의 관계를 기반으로 추상적 변수로 변환하고, 중간 계층에서는 기호 유도 헤드가 이러한 추상적 변수에 대해 시퀀스 유도를 수행하며, 마지막 계층에서는 검색 헤드가 예측된 추상적 변수와 연관된 값을 검색하여 다음 토큰을 예측합니다. 이러한 결과는 기호적 접근 방식과 신경망 접근 방식 사이의 오랜 논쟁을 해결하는 방향을 제시하며, 신경망에서 출현하는 추론은 기호적 메커니즘의 출현에 의존한다는 것을 시사합니다.
