본 논문은 신경망의 정보 복잡도를 이해하고 제어하는 문제를 다룬다. 기존의 엔트로피 기반 손실 함수와 통계적 지표는 신경망 구조에 내재된 알고리즘적 규칙성을 포착하지 못하는 한계가 있다. 본 연구는 이진화 신경망(BNN)을 이용하여 알고리즘 정보 이론에 기반한 새로운 접근 방식을 제시한다. 알고리즘 확률(AP)과 이에 의해 정의되는 보편적 분포를 바탕으로, 블록 분해 방법(BDM)을 통해 학습 역학을 형식적이고 인과적으로 분석한다. 실험 결과, BDM은 엔트로피보다 훈련 과정에서의 구조적 변화를 더 잘 추적하며, 다양한 모델 크기와 무작위 훈련 실행에서 훈련 손실과의 상관관계가 더 강하게 나타난다. 이는 학습을 알고리즘적 압축 과정으로 해석하고, 학습이 구조화된 규칙성의 점진적인 내재화에 해당한다는 견해를 지지한다. 본 연구는 학습 진행 상황을 원칙적으로 추정하고, 정보 이론, 복잡도, 계산 가능성의 기본 원칙에 기반한 복잡도 인식 학습 및 정규화 프레임워크를 제시한다.
