본 논문은 자기회귀 트랜스포머의 컨텍스트 내 학습(ICL) 메커니즘을, 인코딩-디코딩 프레임워크를 활용하여 분석합니다. 합성 ICL 과제를 통해 작은 트랜스포머의 학습 역학을 분석하여, 서로 다른 잠재적 과제(예: 문장에서 첫 번째 명사 찾기)를 구별되는 표현으로 인코딩하는 과정과 조건부 디코딩 알고리즘 구축 및 ICL 성능 향상이 동시에 발생함을 보여줍니다. Gemma-2, Llama-3.1, OLMo-7B 등 다양한 규모의 사전 학습 모델과 사전 학습 과정에서 이 현상을 검증하고, 표현에서 추론된 과제 인코딩의 질이 ICL 성능을 예측하며, 놀랍게도 후반부보다 초반부 레이어를 미세 조정하는 것이 과제 인코딩과 성능 향상에 더 효과적임을 보여줍니다. 이러한 실험적 통찰은 대규모 언어 모델의 성공 및 실패 모드를 표현을 통해 이해하는 데 도움을 줍니다.
