웹 규모의 데이터로 차세대 토큰 예측에 대해 훈련된 대규모 Transformer 언어 모델(LM)은 소수의 예제만 본 후에도 광범위한 작업을 해결할 수 있다. 문맥 내 학습(ICL)으로 알려진 이 능력의 메커니즘은 논란의 여지가 있으며 제대로 이해되지 않고 있다. 본 연구는 ICL의 체계적인 조사를 위해 일련의 조사 작업과 새로운 방법을 도입한다. Pythia 스케일링 제품군 전체를 활용하여 다운스트림 작업에 대한 ICL 성능을 신중하게 탐색하고 잔여 스트림의 부분 공간에 대한 기계적 분석을 동시에 수행함으로써, ICL이 단순히 훈련 코퍼스의 "암기"를 넘어선다는 것을 보여준다. 또한 훈련 역학, 모델 능력 및 기계적 해석 가능성의 요소를 포함하여 ICL의 여러 측면을 명확히 한다.
