본 논문은 선형 어텐션을 가진 단순하면서도 표현력 있는 트랜스포머를 연구하여, 실수 값 스핀을 갖는 스핀 글래스 모델에 매핑함으로써 대규모 언어 모델의 컨텍스트 학습 능력을 해석하고자 한다. 이 모델에서 결합과 필드는 데이터의 내재적 무질서를 설명하며, 사전 훈련 중 가중치 매개변수 간의 상호 작용을 명확히 한다. 단일 인스턴스 학습의 경우, 과제 다양성 증가가 볼츠만 분포를 가중치 매개변수의 고유한 정답으로 수렴하게 하여 컨텍스트 학습의 출현을 이끈다는 것을 밝혔다. 따라서 사전 훈련된 트랜스포머는 새로운 프롬프트 설정에서 예측력을 보인다. 이 분석적으로 다룰 수 있는 모델은 대규모 언어 모델의 많은 흥미롭지만 불가사의한 특성을 해석하는 유망한 방법을 제공한다.
