본 논문은 현대 심층 신경망(DNN)의 훈련 전략이 계층 가중치에서 헤비테일(HT) 경험적 스펙트럼 밀도(ESD)를 유발하는 경향이 있음을 다룹니다. 이전 연구들은 HT 현상이 대규모 NN에서 좋은 일반화와 상관관계가 있음을 보였지만, 그 발생에 대한 이론적 설명은 여전히 부족합니다. 특히, 이 현상을 야기하는 조건을 이해하는 것은 일반화와 가중치 스펙트럼 간의 상호 작용을 밝히는 데 도움이 될 수 있습니다. 본 연구는 HT ESD의 출현을 모델링하기 위한 간단하고 풍부한 설정을 제시함으로써 이러한 간극을 메우는 것을 목표로 합니다. 특히, 이층 NN의 ESD에서 헤비테일을 '만드는' 이론에 기반한 설정을 제시하고, 어떠한 기울기 잡음 없이 HT ESD 출현에 대한 체계적인 분석을 제시합니다. 이는 잡음이 없는 설정을 분석한 최초의 연구이며, 최적화기(GD/Adam) 종속적(큰) 학습률을 HT ESD 분석에 통합합니다. 연구 결과는 훈련 초기 단계에서 ESD의 Bulk+Spike 및 HT 형태에 대한 학습률의 역할을 강조하며, 이는 이층 NN에서 일반화를 촉진할 수 있습니다. 이러한 관찰은 훨씬 더 단순한 설정이지만 대규모 NN의 동작에 대한 통찰력을 제공합니다.