본 논문은 지난 70년간 주로 초매개변수 조정에 의존해 왔던 신경망 층의 너비 선택 방식에 도전장을 내민다. 훈련 중 신경망 층의 무한한 너비를 학습하는 사용하기 쉬운 기술을 소개하며, 대체 최적화나 수작업 기반의 기울기 휴리스틱에 의존하지 않고 단순한 역전파를 통해 각 층의 너비와 매개변수를 공동으로 최적화한다. 표, 이미지, 텍스트, 시퀀스, 그래프와 같은 광범위한 데이터 영역에 이 기술을 적용하여 너비가 작업의 난이도에 따라 어떻게 적응하는지 보여준다. 뉴런 간의 중요도에 대한 부드러운 순서를 부여하여 훈련된 네트워크를 사실상 제로 비용으로 잘라낼 수 있으며, 성능과 컴퓨팅 자원 간의 원활한 절충을 구조적인 방식으로 달성한다. 또는 성능 저하 없이 네트워크를 동적으로 압축할 수 있다. 대규모 데이터 세트로 훈련된 최근의 기초 모델들은 수십억 개의 매개변수가 필요하며 막대한 훈련 비용으로 인해 초매개변수 조정이 불가능한 것으로 여겨지는데, 본 논문의 접근 방식은 너비 학습에 대한 실행 가능한 대안으로 제시된다.
