본 논문은 Transformer 기반 언어 모델의 In-Context Learning (ICL) 능력, 특히 문맥에서 답을 복사하는 것이 아닌, 문맥으로부터 과제를 유추하는 메타학습 능력의 습득 과정을 실험적으로 분석합니다. 기존 연구에서 ICL을 유도 헤드(induction heads)의 급격한 정확도 향상과 연결 지었지만, 이는 문맥 내에 답이 포함된 경우에만 적용 가능합니다. 본 논문은 문맥으로부터 과제를 유추해야 하는 In-Context Meta Learning 설정에서 복사 과제를 확장하여, 모델이 이러한 메타학습 능력을 습득하는 과정에 여러 단계가 존재하며, 각 단계에서 고유한 회로(circuit)가 나타나는 것을 발견합니다. 이러한 회로의 출현은 대규모 언어 모델에서 알려진 여러 현상과 관련되어 있으며, Transformer의 ICL 능력의 근원에 대한 이해를 심화시킵니다.
