본 논문은 일반화 성능이 데이터 크기 증가뿐만 아니라 내부 표현 압축을 통해서도 향상된다는 것을 이론적으로 증명한다. 이를 위해, 언어 모델링을 표현 엔트로피를 최소화하면서 최적의 예측 성능을 유지하는 제약 최적화 문제로 재구성하는 Information Bottleneck Language Modeling (IBLM) 목표를 제시한다. 대규모 언어 모델 (LLM) 사전 훈련 중에 표현 엔트로피 측정치인 Matrix-Based Entropy (MBE)와 교차 엔트로피 간에 긍정적/부정적 기울기 정렬이 진동하는 메모리-압축 주기가 나타나는 것을 관찰한다. 이 패턴은 IBLM에서 제시하는 예측-압축 트레이드오프와 유사하며, 생물학적 각성 학습과 수면 통합 사이의 교대와 유사하다. 이러한 관찰을 바탕으로, 메모리 단계와 압축 단계를 적응적으로 전환하는 훈련 알고리즘인 Gated Phase Transition (GAPT)을 제안한다. FineWeb 데이터셋에서 GPT-2 사전 훈련에 GAPT를 적용했을 때 MBE가 50% 감소하고, 교차 엔트로피가 4.8% 향상되었다. 또한, GAPT는 산술 곱셈 사전 훈련 작업에서 OOD 일반화 성능을 35% 향상시켰다. 재앙적 망각을 시뮬레이션하는 설정에서 GAPT는 표현 압축 및 분리를 통해 간섭을 줄여 분리도를 97% 개선했으며, 이는 수면 통합의 기능적 역할과 유사하다.
