본 논문은 대규모 신경망의 표상 공간을 이해하고 설명하기 위한 통합된 기호 체계 및 방법론의 부재를 지적하며, 이를 해결하기 위해 표상 공간 간 매핑에서 체계적인 구조를 식별하는 정량적 방법론을 제시한다. 정보 이론적 정량화를 통해 구조적 원형을 식별하고, 다중 에이전트 강화 학습 모델, 단일 작업에 대해 훈련된 시퀀스-투-시퀀스 모델, 그리고 대규모 언어 모델 전반에 걸쳐 학습, 구조, 일반화를 분석한다. 또한, 백만에서 120억 개 매개변수에 이르는 다양한 크기의 모델에 분석을 적용할 수 있도록 벡터 공간의 엔트로피를 추정하는 새로운 고성능 접근 방식을 소개한다. 실험을 통해 대규모 분산 인지 모델의 학습 과정을 밝히고, 이러한 시스템과 인간의 유사점을 비교하며, 언어의 구조와 이를 낳는 제약 조건이 현대 신경망의 성능을 주도하는 구조와 여러 면에서 유사함을 보여준다.
