From SGD to Muon: Adaptive Optimization via Schatten-p Norms

작성자

Haebom

카테고리

Empty

저자

Thomas Massena (IRIT, DTIPG - SNCF, UT3), Corentin Friedrich (IRIT), Mathieu Serrurier (IRIT)

💡 개요

본 논문은 딥러닝 모델 학습 시 최적화 방법론의 고정된 기하학적 제약을 극복하고자 합니다. 데이터 및 그래디언트 통계를 활용하여 각 신경망 레이어별로 최적의 업데이트 기하학을 동적으로 선택하는 효율적인 방법을 제안합니다. 이를 통해 SGD부터 Muon까지 다양한 최적화 방법을 아우르는 프레임워크를 구축하고, 실험 결과 기존 최적화 방법론 대비 우수한 성능을 입증했습니다.

🔑 시사점 및 한계

•

런타임 데이터를 기반으로 최적화 방법의 기하학적 제약을 동적으로 조정하는 새로운 접근 방식의 가능성을 제시합니다.

•

SGD, Muon, Adam, MuAdam 등 다양한 기존 최적화 기법을 포괄하는 통합 프레임워크를 제공합니다.

•

제안된 동적 최적화 기법이 실제 딥러닝 학습에서 효율적이며 성능 향상에 기여함을 실험적으로 보여줍니다.

•

향후 연구에서는 더 광범위한 모델 및 태스크에 대한 검증과 제안된 방법론의 이론적 기반을 더욱 공고히 할 필요가 있습니다.

PDF 보기

Made with Slashpage