Sign In

A Convexity-dependent Two-Phase Training Algorithm for Deep Neural Networks

Created by
  • Haebom
Category
Empty

저자

Tomas Hrycej, Bernhard Bermeitinger, Massimo Pavone, Gotz-Henrik Wiegand, Siegfried Handschuh

개요

본 논문은 머신 러닝 모델 학습 시 손실 함수가 초기에는 비볼록성을, 최적점에 가까워질수록 볼록성을 띤다는 가설을 기반으로, 두 단계 최적화 알고리즘을 제안한다. 제안된 알고리즘은 그래디언트 노름과 손실 간의 관계를 통해 볼록성 전환 지점을 감지하여, 해당 지점 이전에는 비볼록 최적화 알고리즘(Adam)을, 이후에는 볼록 최적화 알고리즘(Conjugate Gradient, CG)을 사용한다. 실험 결과, 이 간단한 볼록성 구조를 활용하여 수렴 속도와 정확도를 크게 향상시킬 수 있음을 확인했다.

시사점, 한계점

시사점:
손실 함수의 볼록성 변화를 활용한 새로운 최적화 프레임워크 제시.
Adam과 CG를 결합하여 수렴 성능 향상.
실험을 통해 제안된 가설의 타당성 검증.
한계점:
볼록성 전환 지점 감지 방법의 정확성과 견고성에 대한 추가 연구 필요.
실제 문제에 대한 일반화 가능성 검증 필요.
제안된 알고리즘의 하이퍼파라미터 설정에 대한 연구 필요.
👍