본 논문은 드롭아웃을 고차원 이진 하위 네트워크 그래프 상의 랜덤 워크로 모델링하는 조합론적 및 그래프 이론적 이론을 제시합니다. 각 노드는 네트워크의 마스크된 버전을 나타내며, 드롭아웃은 이 공간에서 확률적 탐색을 유도합니다. 일반화를 정량화하는 하위 네트워크 기여 점수를 정의하고, 이 점수가 그래프에서 부드럽게 변화함을 보여줍니다. 스펙트럴 그래프 이론, PAC-Bayes 분석 및 조합론의 도구를 사용하여 일반화하는 하위 네트워크는 크고, 연결되고, 저저항 클러스터를 형성하며, 그 수는 네트워크 너비에 따라 기하급수적으로 증가함을 증명합니다. 이는 드롭아웃을 내장된 중복성을 가진 잘 일반화되는 하위 네트워크의 강력하고 구조화된 앙상블에서 샘플링하는 메커니즘으로 밝힙니다. 광범위한 실험을 통해 다양한 아키텍처에서 모든 이론적 주장을 검증합니다. 이러한 결과는 드롭아웃을 이해하기 위한 통합된 기반을 제공하고 마스크 기반 정규화 및 하위 네트워크 최적화를 위한 새로운 방향을 제시합니다.
