본 논문은 대규모 언어 모델(LLM)에서 나타나는 새로운 능력의 출현이 임계치 초과 시 발생하는 상전이 현상과 관련이 있다는 기존 연구를 바탕으로, 소규모 변환기 기반 언어 모델에서도 이러한 상전이가 관찰될 수 있는지, 로그 스케일링 없이 선형 학습 공간에서 직접 감지할 수 있는지, 그리고 학습 초기에 나타날 수 있는지에 대한 질문에 답하고자 한다. 이를 위해, 저자들은 소규모 GPT 스타일 변환기를 문자 수준 코퍼스에서 훈련시키고, 어휘 사용의 변화를 분석한다. 평균 단어 길이, 정답 및 오답 단어 수, 어휘 다양성의 변화를 추적하고, 푸아송 및 서브 푸아송 통계를 적용하여 단어의 연결 및 재구성을 정량화한다. 이러한 분석을 통해 학습 과정에서 뚜렷한 상전이 지점을 발견했으며, 표준 손실 및 검증 곡선에서는 나타나지 않지만 어휘 및 통계 기반 프로브를 통해 관찰 가능했다.
