본 논문은 ReLU를 사용하는 딥 뉴럴 네트워크의 학습 메커니즘을 이해하기 위해, 다층 ReLU 네트워크를 입력에 의존하는 "유효 가중치"를 가진 단일층 선형 모델로 재구성하는 새로운 분석 프레임워크를 제안합니다. 입력 샘플에 대한 ReLU 유닛의 활성화 패턴은 네트워크 내에서 가중치의 하위 집합을 효과적으로 0으로 만드는 고유한 계산 경로를 생성합니다. 모든 계층에서 활성 가중치를 합성하여, 특정 샘플에 대한 입력을 직접 출력에 매핑하는 유효 가중치 행렬 $W_{\text{eff}}(x)$를 도출합니다. 훈련 과정에서 동일한 클래스의 샘플에 해당하는 유효 가중치는 수렴하고, 서로 다른 클래스의 샘플에 해당하는 유효 가중치는 발산하는 것을 관찰합니다. 이러한 샘플별 유효 가중치의 궤적을 추적함으로써, 네트워크 내에서 클래스별 의사 결정 경계 형성 및 의미론적 표현의 출현을 새로운 시각으로 해석합니다.
