Directional Consistency as a Complementary Optimization Signal: The GONO Framework

작성자

Haebom

카테고리

Empty

저자

Victor Daniel Gera

💡 개요

본 연구는 딥러닝 최적화 과정에서 기울기 방향의 일관성과 손실 수렴이 분리될 수 있는 현상을 발견하고 이를 해소하기 위한 새로운 최적화 프레임워크인 GONO를 제안합니다. GONO는 기울기 방향의 일관성을 측정하는 지표(cc_t)를 활용하여 Adam 옵티마이저의 모멘텀 계수를 동적으로 조절함으로써, 불안정한 구간에서는 모멘텀을 억제하고 일관된 구간에서는 증폭시켜 최적화 효율을 높입니다. 실험 결과, GONO는 기존 옵티마이저들이 탐지하기 어려운 진동을 효과적으로 감지하고, MNIST, CIFAR-10, ResNet-18 등 다양한 데이터셋 및 모델에서 AdamW와 경쟁력 있는 성능을 보여주었습니다.

🔑 시사점 및 한계

•

기울기 방향의 시간적 일관성이 딥러닝 최적화에서 중요한 보조 신호로 활용될 수 있음을 이론적, 실증적으로 제시합니다.

•

기존 옵티마이저가 놓칠 수 있는 불안정한 최적화 구간(고원, 안장점 등)을 효과적으로 탐지하고 회피할 수 있는 메커니즘을 제공합니다.

•

제안된 GONO 프레임워크는 Adam 옵티마이저에 대한 이론적 수렴 속도를 보장하며, 실제 학습에서도 경쟁력 있는 성능을 보여줍니다.

•

GONO의 성능이 데이터셋의 특성이나 모델 구조에 따라 달라질 수 있으므로, 다양한 환경에서의 추가적인 검증이 필요합니다.

•

cc_t 계산 방식이나 모멘텀 계수 조절 함수의 최적화를 위한 추가 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage