본 논문은 대규모 언어 모델(LLM)의 추론 능력을 이해하기 위해 최소한의 명제 논리 문제를 사용하여 Mistral 및 Gemma 모델(최대 27B 매개변수)을 연구합니다. 인과 매개 분석을 통해 LLM의 추론 과정의 경로와 구성 요소를 밝히고, 각 계층에서 어텐션 헤드의 기능에 대한 세밀한 통찰력을 제공합니다. 결과적으로, 답을 계산하는 드문 회로를 발견하고, 이를 네 가지 독립적이고 모듈식 용도를 가진 하위 회로로 분해합니다. 마지막으로, Mistral-7B, Gemma-2-9B, Gemma-2-27B 세 가지 모델에 유사하지만 동일하지 않은 메커니즘이 존재함을 보여줍니다.
