Emergent Low-Rank Training Dynamics in MLPs with Smooth Activations

Created by

Haebom

저자

Alec S. Xu, Can Yaras, Matthew Asato, Qing Qu, Laura Balzano

💡 개요

본 논문은 대규모 심층 신경망에서 관찰되는 저차원 공간에서의 학습 동역학 현상에 대한 이론적 근거를 제시합니다. 특히, 부드러운 비선형 활성화 함수를 갖는 다층 퍼셉트론(MLP)에서 경사 하강법(GD) 학습 시 가중치 동역학이 훈련 내내 불변하는 저차원 부분 공간으로 집중됨을 이론적으로 규명합니다. 나아가, 적절한 부분 공간 내에서 초기화된 저랭크 MLP가 완전 파라미터화된 모델과 동등한 분류 성능을 달성할 수 있음을 실험적으로 입증합니다.

🔑 시사점 및 한계

•

훈련 중 신경망의 동역학이 저차원 부분 공간에 국한된다는 현상에 대한 이론적 설명 제공.

•

저랭크 MLP를 활용한 효율적인 모델 압축 및 적응 연구의 이론적 기반 마련.

•

제안된 이론적 분석은 2개 층 MLP 및 특정 유형의 활성화 함수에 초점을 맞추었으며, 더 깊거나 복잡한 네트워크 구조로의 확장 필요.

PDF 보기

Made with Slashpage