본 논문은 Transformer 기반 언어 모델의 In-Context Learning (ICL) 능력, 특히 문맥에서 답을 복사하는 것이 아닌, 문맥으로부터 문제 해결 방법을 학습하는 메타학습 능력의 습득 과정을 분석합니다. 기존 연구에서 induction head와 ICL의 상관관계를 갑작스러운 정확도 향상으로 설명했지만, 이는 문맥에 답이 포함된 경우에만 적용됩니다. 본 연구는 In-Context Meta Learning 설정에서 확장된 복사 작업을 통해 모델의 회로 동역학을 분석하여 메타학습 능력 습득 과정의 다단계 특징과 각 단계에서 나타나는 고유한 회로를 규명합니다. 이를 통해 Transformer의 ICL 능력의 근원에 대한 이해를 심화시킵니다.
