본 논문은 모든 입력에 대해 모든 뉴런을 활성화하는 기존 신경망의 비효율성을 해결하기 위해, 입력에 따라 가장 정보가 풍부한 뉴런만 선택적으로 활성화하는 새로운 모듈인 Matrix-Interpolated Dropout Layer (MID-L)을 제시합니다. MID-L은 학습된 입력 의존적 게이팅 벡터를 통해 두 변환 경로 사이를 보간하여 동적으로 뉴런을 선택하고 활성화합니다. 기존의 dropout이나 정적 희소성 방법과 달리, MID-L은 미분 가능한 Top-k 마스킹 전략을 사용하여 입력마다 적응적인 계산을 수행하면서도 end-to-end 미분 가능성을 유지합니다. 모델에 독립적이며 기존 아키텍처에 쉽게 통합될 수 있습니다. MNIST, CIFAR-10, CIFAR-100, SVHN, UCI Adult, IMDB 등 6개의 벤치마크에 대한 광범위한 실험 결과, MID-L은 활성 뉴런을 평균 55% 감소시키고 FLOPs를 1.7배 절약하면서 기준 정확도를 유지하거나 능가하는 것을 보여줍니다. Sliced Mutual Information (SMI)을 통해 학습된 뉴런의 정보성과 선택성을 검증하고 과적합 및 잡음 데이터 조건에서 향상된 견고성을 관찰했습니다. 또한, MID-L은 유리한 추론 지연 시간과 메모리 사용량 프로필을 보여주어 계산 자원이 제한된 시스템에서의 연구 및 배포에 적합합니다. 이러한 결과는 MID-L을 dropout 정규화와 효율적인 추론 사이의 간극을 메우는 범용적인 플러그 앤 플레이 동적 계산 계층으로 자리매김하게 합니다.
