본 논문은 웹 규모 데이터로 다음 토큰 예측 방식으로만 학습된 대규모 Transformer 언어 모델(LM)이 소수의 예시만으로 다양한 작업을 해결하는 능력인 문맥 내 학습(ICL)의 메커니즘을 조사합니다. 기존 연구들의 상반된 주장들(암기 vs. 상징적 알고리즘 발전)을 넘어, Pythia 스케일링 세트의 중간 체크포인트들을 활용하여 ICL을 체계적으로 연구하는 새로운 방법론을 제시합니다. 하류 작업에서 ICL 성능을 탐색하고 잔차 스트림의 부분 공간에 대한 메커니즘 분석을 동시에 수행하여 ICL이 단순한 암기 이상이지만 독립적인 상징적 알고리즘의 구현은 아님을 보여줍니다. 또한, 학습 역동성, 모델 성능, 메커니즘 해석 가능성 요소 등 ICL의 여러 측면을 명확히 합니다. 결과적으로 모델 개발자들에게 개선 방향을 제시하고 AI 보안 전문가들에게 더욱 정보에 입각한 지침을 제공하여 ICL에 대한 이해를 높입니다.
