최소 기술 길이(MDL) 원리를 기계 학습에 적용하기 위한 이론적 프레임워크를 제시한다. 특히, Transformer와 같은 신경망에서 모델 복잡성에 대한 보편적인 측정이 부족한 문제를 해결하고자 한다. 이 논문은 Kolmogorov 복잡성 이론에 기반한 점근적으로 최적의 기술 길이 목표의 개념을 도입한다. 이러한 목표를 최소화하는 것이 모델 리소스가 증가함에 따라 모든 데이터 세트에 대해 덧셈 상수를 제외하고 최적의 압축을 달성한다는 것을 증명한다. Transformer의 계산적 보편성을 새롭게 증명하여 Transformer에 대한 점근적으로 최적의 목표가 존재함을 밝힌다. 또한, 적응형 가우시안 혼합 사전 기반 변동 목표를 구성하고 분석하여 이러한 목표가 실용적이고 미분 가능하다는 것을 보인다. 알고리즘 작업에서 일반화 성능이 높은 저복잡성 솔루션을 선택하는 변동 목표를 실험적으로 분석하지만, 표준 최적화기는 무작위 초기화에서 이러한 솔루션을 찾지 못하여 주요 최적화 과제를 강조한다. 더 넓게 보면, 강력한 점근적 보장을 갖는 기술 길이 목표를 식별하기 위한 이론적 프레임워크를 제공함으로써, 더 나은 압축과 일반화를 달성하는 신경망 훈련을 위한 잠재적 경로를 제시한다.
