본 논문은 대규모 예측 모델이 단순히 훈련 데이터를 따라 하는 것인지, 진정한 통찰력을 생성하는 것인지에 대한 물리적 설명을 제시하지 못하는 현황을 다룹니다. 연구진은 다음 토큰 예측과 미래 경로 엔트로피 간의 균형을 중요하게 맞추는 학습의 준안정적 단계로서 나타나는 원시적인 직관의 형태를 보고합니다. 이러한 직관 메커니즘은 마음 조정(mind-tuning)을 통해 발견되었는데, 이는 제어 온도와 같은 매개변수 λ를 가진 예측 모델에 최대 칼리버(Maximum Caliber)를 부과하는 최소 원리입니다. 결정론적 미로에서의 무작위 이동에 대한 훈련은 풍부한 상전이 그림을 보여줍니다. 즉, 모방(낮은 λ), 규칙 위반 환각(높은 λ), 그리고 강한 프로토콜 의존성(이력 현상)과 다중 안정성을 보이는 섬세한 중간 창(모델이 자발적으로 새로운 목표 지향적 전략을 발견하는 영역)이 존재합니다. 이러한 결과는 효과적인 저차원 이론에 의해 포착되며, 직관을 있는 것을 암기하는 것과 있을 수 있는 것을 궁금해하는 것 사이의 중요한 균형에서 나타나는 특성으로 규정합니다.
