본 논문은 컨텍스트 내 학습을 수행하는 언어 모델(Llama-3-8B)이 소수의 예시로부터 어떻게 예측 규칙을 학습하고 적용하는지 분석합니다. 정수 $k$를 입력에 더하는 간단한 작업을 통해, Llama-3-8B가 이 작업에서 높은 정확도를 달성함을 보이고, 이 능력이 단 세 개의 어텐션 헤드에 국한됨을 독창적인 최적화 기법으로 확인합니다. 추출된 신호는 6차원 부분 공간에 존재하며, 그 중 4차원은 일의 자릿수를, 2차원은 전체 크기를 추적함을 밝힙니다. 또한, 이 헤드들이 개별 예시로부터 정보를 추출하는 과정에서 이전 예시의 오류를 후속 예시가 억제하는 자기 수정 메커니즘을 확인합니다. 이 연구는 순전파 과정에서 저차원 부분 공간을 추적하는 것이 미세한 계산 구조에 대한 통찰력을 제공함을 보여줍니다.
