Singularity-aware Optimization via Randomized Geometric Probing: Towards Stable Non-smooth Optimization
작성자
카테고리
Vide
저자
Ruoran Xu, Borong She, Xiaobo Jin, Qiufeng Wang
💡 개요
본 연구는 ReLU 활성화 함수 및 양자화 연산자와 같은 비평활(non-smooth) 구성 요소로 인해 손실 함수 표면이 평활하다는 딥러닝 최적화의 일반적인 가정을 위반하는 문제점을 지적합니다. 이러한 비평활 영역에서 Adam과 같은 적응형 최적화기는 Clarke 부미분(subdifferential) 내의 상반된 신호로 인한 기울기 떨림(gradient chattering)으로 성능 저하를 겪습니다. 이를 해결하기 위해 본 논문에서는 국소 기하학적 불안정성(Local Geometric Instability, LGI) 지표를 기반으로 훈련을 안정화하는 새로운 최적화기인 Singularity-aware Adam (S-Adam)을 제안합니다. LGI는 무작위 방향 미분값의 분산을 통해 Clarke 부미분 직경을 효율적으로 추정하며, S-Adam은 이를 활용하여 불안정 영역에서 학습 속도를 줄이고 평활 영역에서는 빠른 수렴을 유지합니다.
🔑 시사점 및 한계
•
비평활 손실 함수 환경에서 기존 Adam 계열 최적화기의 성능 한계를 극복하고 안정적인 훈련 및 우수한 일반화 성능을 달성할 수 있는 새로운 최적화 기법을 제시합니다.
•
LGI 지표는 계산 효율성이 높으면서도 국소적인 기하학적 불안정성을 효과적으로 측정하여 최적화 과정에 대한 통찰력을 제공합니다.
•
양자화 인식 훈련(QAT) 및 노이즈가 많은 소규모 배치 학습과 같은 실제 적용 사례에서 S-Adam이 기존 최적화기 대비 상당한 성능 향상을 보였습니다.
•
본 연구는 S-Adam이 ($\delta$,$\epsilon$)-Clarke 정상점(stationary points)에 O(1/$\sqrt(T)$)의 최적 속도로 거의 확실하게 수렴함을 이론적으로 증명합니다.
•
국소 기하학적 불안정성(LGI) 지표의 계산 효율성이 높지만, 더 복잡하고 동적인 손실 함수 환경에서의 성능 및 안정성에 대한 추가적인 심층적인 이론적 분석이 필요할 수 있습니다.
