본 논문은 몇 가지 예시를 통해 학습하는(few-shot learning) 언어 모델의 내부 작동 방식을 탐구합니다. Llama-3-8B 모델을 사용하여 입력 값에 정수 k를 더하는 작업을 수행하는 few-shot 학습 과제를 설정하고, 모델이 이 과제를 높은 정확도로 수행함을 보였습니다. 특히, 세 개의 어텐션 헤드가 이러한 few-shot 능력에 중요한 역할을 하고, 이 헤드들이 정보를 추출하는 과정에서 6차원 부분 공간을 사용하며, 이 중 4차원은 일의 자리 숫자를, 나머지 2차원은 전체 크기를 추적함을 밝혔습니다. 또한, 이 과정에서 이전 예시의 오류를 후속 예시가 보정하는 자기 수정 메커니즘을 확인했습니다. 이 연구는 순전파 과정에서 저차원 부분 공간 추적을 통해 미세한 계산 구조에 대한 통찰력을 제공합니다.
