본 논문은 지난 70년간 주로 하이퍼파라미터 튜닝에 의존해 왔던 신경망 레이어의 너비 선택 방식에 대한 새로운 접근법을 제시합니다. 본 연구는 훈련 중에 신경망 레이어의 무한한 너비를 학습하는 사용하기 쉬운 기법을 소개하며, 대체 최적화나 수작업 기반의 그래디언트 휴리스틱에 의존하지 않고 간단한 역전파를 통해 각 레이어의 너비와 파라미터를 공동으로 최적화합니다. 표, 이미지, 텍스트, 시퀀스, 그래프 등 다양한 데이터 도메인에 적용하여 작업의 난이도에 따라 너비가 어떻게 적응하는지 보여줍니다. 또한 뉴런 간의 중요도에 대한 소프트 정렬을 부과하여, 거의 제로 비용으로 훈련된 네트워크를 잘라낼 수 있으며, 성능과 컴퓨팅 자원 간의 원활한 절충을 구조적인 방식으로 달성할 수 있습니다. 성능 저하 없이 네트워크를 동적으로 압축할 수도 있습니다. 대규모 데이터셋으로 훈련된 최근의 기초 모델들은 수십억 개의 파라미터를 필요로 하며 막대한 훈련 비용으로 인해 하이퍼파라미터 튜닝이 불가능한 것으로 여겨지는데, 본 연구의 접근 방식은 너비 학습에 대한 실행 가능한 대안으로 제시됩니다.
