본 논문은 신경망의 정보 복잡도를 이해하고 제어하는 문제를 다룬다. 기존의 엔트로피 기반 손실 함수 및 통계적 지표는 신경망 구조에 내재된 알고리즘적 규칙성을 포착하는 데 실패하는 경우가 많다는 점을 지적한다. 대신 알고리즘 정보 이론을 활용하여 이진 신경망(BNNs)을 통해 학습 역학을 형식적이고 인과적으로 분석하는 새로운 접근 방식을 제안한다. 알고리즘 확률(AP)과 범용 분포에 기반한 블록 분해 방법(BDM)을 적용하여 알고리즘 복잡도를 추정하고, 이것이 엔트로피보다 훈련 과정 중 구조적 변화를 더 잘 추적하며 훈련 손실과의 상관관계가 더 강하다는 것을 보여준다. 이를 통해 학습을 알고리즘적 압축 과정으로 보고, 학습은 구조적 규칙성의 점진적인 내재화에 해당한다는 견해를 제시한다. 결론적으로, 본 논문은 학습 진행 상황에 대한 원칙적인 추정치를 제공하고, 정보 이론, 복잡도, 계산 가능성의 기본 원리에 기반한 복잡도 인식 학습 및 규제화를 위한 프레임워크를 제안한다.
