본 논문은 생물학적으로 덜 타당한 전역 교차 엔트로피 손실과 역전파를 사용하는 대신, 탐욕적 계층별 훈련 방식을 통해 딥 뉴럴 네트워크(DNN)를 훈련하는 새로운 접근 방식을 제안합니다. 특히, 정보 이론적 관점에서 인기 있는 CNN의 훈련 역학을 분석하고, Deterministic Information Bottleneck (DIB)과 행렬 기반 Renyi's $\alpha$-order 엔트로피 함수를 기반으로 한 새로운 계층별 훈련 방식을 제시합니다. 제안된 방법은 최소한의 충분한 작업 관련 표현 학습을 위해 각 계층을 보조 분류기와 함께 공동으로 훈련하며, CIFAR-10, CIFAR-100, 그리고 교통 표지판 인식과 같은 실제 과제에서 기존 계층별 훈련 방법보다 우수한 성능을 보이며, SGD와 유사한 성능을 달성합니다.
