본 논문은 실제 환경에서 Transformer의 훈련 역학이 두 단계로 진행되는 현상을 이론적으로 설명한다. GPT-2를 Counterfact 데이터셋으로 훈련시키는 예시처럼, 답변이 구문적으로 틀린 상태에서 구문적으로 맞는 상태를 거쳐 의미적으로 맞는 상태로 발전하는 현상을 분석한다. 이를 위해 문맥 내 학습 환경에서 특징 학습 기법을 사용하여, 분리된 두 가지 유형의 특징 구조(예: 자연어의 구문과 의미, 단백질의 1차 및 2차 구조)를 기반으로 Transformer의 역학을 분석한다. 본 연구는 Transformer에서 두 단계 최적화 과정에 대한 최초의 엄밀한 결과를 제시하며, 이러한 두 단계 과정이 어텐션 가중치의 스펙트럼 특성과 밀접하게 관련되어 있음을 보여준다.
