본 논문은 신경망의 정보 복잡도를 이해하고 제어하는 문제를 다룬다. 기존의 엔트로피 기반 손실 함수와 통계적 지표는 신경망 구조에 내재된 알고리즘적 규칙성을 포착하는 데 한계가 있다는 점을 지적하며, 알고리즘 정보 이론을 활용하여 이 문제를 해결하고자 한다. 이를 위해 이진화 신경망(BNN)을 사용하여 알고리즘 확률(AP)과 범용 분포를 기반으로 학습 역동성을 형식적이고 인과적으로 분석한다. 블록 분해 방법(BDM)을 적용하여 알고리즘 복잡도를 근사하고, 이를 통해 엔트로피보다 학습 과정 중 구조적 변화를 더 잘 추적하며 학습 손실과의 상관관계가 더 강하다는 것을 실험적으로 보여준다. 결론적으로 학습을 알고리즘적 압축 과정으로 보고, 학습은 구조화된 규칙성의 점진적인 내재화에 해당한다는 견해를 제시하며, 정보 이론, 복잡도 이론, 계산 가능성 이론에 기반한 복잡도 인식 학습 및 규제화 프레임워크를 제안한다.
