본 논문은 처음부터 학습된 트랜스포머 모델에서의 컨텍스트 내 학습(ICL)의 한계를 조사하며, 제어된 환경으로서 함수 근사 작업에 초점을 맞춰 기본적인 동작을 밝힙니다. 실험적으로 트랜스포머 모델이 일반화될 수 있음을 보여주고(미지의 다항 함수(비선형) 클래스 근사), 특정 값을 넘어서는 일반화는 불가능함을 보입니다. 이러한 한계는 계층 정규화(layer normalization)와 어텐션 점수 함수인 소프트맥스(softmax)와 같은 아키텍처 구성 요소에서 기인한다는 것을 실험적 및 수학적 주장을 통해 제시합니다. 결론적으로, 본 연구는 더 복잡한 NLP 작업에서는 종종 가려져 있지만 트랜스포머 기반 모델의 강건성과 해석력을 향상시키기 위해 이해해야 하는 ICL에 대한 구조적 제약을 밝힙니다.
