본 논문은 소수 샷 학습을 수행하는 언어 모델의 순방향 패스에서 예측 규칙이 어떻게 구현되는지 탐구한다. 정수 $k$를 입력에 더하는 예측 규칙을 갖는 소수 샷 학습 작업을 연구하고, 모델의 소수 샷 능력을 소수의 어텐션 헤드에만 국한하는 새로운 최적화 방법을 제시한다. 차원 축소 및 분해를 통해 개별 헤드에 대한 심층적인 분석을 수행하고, Llama-3-8B-instruct 모델을 예시로 하여, 세 개의 어텐션 헤드와 여섯 차원 부분 공간으로 모델의 메커니즘을 줄여 분석한다. 또한, 어텐션 헤드에 대한 "집계" 및 "추출" 부분 공간을 연결하는 수학적 항등식을 도출하여, 개별 예제에서 최종 집계된 개념으로 정보 흐름을 추적할 수 있게 한다. 이를 통해 초기 데모에서 학습된 실수가 후기 데모에 의해 억제되는 자체 수정 메커니즘을 식별한다.
