본 논문은 대규모 언어 모델(LLM)의 성공에 중요한 요소인 문맥 내 학습(in-context learning)에 대해 연구합니다. 특히, Transformer 아키텍처가 문맥 내 예시를 처리하여 단일 단계 또는 다중 단계 경사 하강법 업데이트를 수행할 수 있다는 기존 연구들을 바탕으로, 선형 반복 Transformer의 문맥 내 학습을 선형 벡터 생성 작업에 대해 분석합니다. 기존 연구에서 다중 단계 경사 하강법을 위해서는 지수적으로 많은 예시가 필요했던 반면, 본 논문에서는 입력 데이터의 조건수가 일정할 경우, 선형 반복 Transformer가 다중 단계 경사 하강법을 효율적으로 수행하여 작은 오차를 달성할 수 있음을 이론적으로 증명하고 실험적으로 검증합니다. 이를 통해 Transformer 아키텍처의 문맥 내 학습 능력에 대한 이해를 높이고, LLM을 위한 효율적인 추론 알고리즘 설계에 대한 새로운 통찰력을 제공합니다.
