본 논문은 딥러닝 최적화를 단일 반복 내에서 분석하기 위한 모델을 제시합니다. 가중치의 행렬 구조를 활용하여 손실 함수의 등방성 곡률(2차 Hessian 및 고차항 포함)을 가정하여 모델을 도출하며, 이를 '등방성 곡률 모델'이라고 명명합니다. 이 모델은 분석이 가능한 볼록 최적화 프로그램으로, 가중치 업데이트가 전체 손실 함수 변화와 어떻게 관련되는지 이해할 수 있게 합니다. 이 모델을 사용하여 Muon 옵티마이저 및 기타 행렬-기울기 방법을 분석하고, 기울기 행렬 스펙트럼의 균일성을 향상시키는 업데이트가 최적임을 보입니다.
