본 논문은 기울기 기반 최적화를 통해 대규모 신경망을 훈련하는 과정에서 발생하는 고차원 손실 지형의 병리적 기하학적 구조로 인한 바람직하지 않은 훈련 역학 문제를 다룹니다. 특히, 입력 변화에 매우 민감한 급격한 최소값으로의 수렴은 과적합을 야기하고 일반화 성능을 저하시킵니다. 본 연구는 손실 지형의 미세 구조에 대한 의존성을 줄이고 급격한 최소값을 회피하여 일반화 성능을 향상시키는 새로운 최적화 알고리즘을 제안합니다. 이는 손실 지형 위에서 구슬이 굴러가는 운동을 시뮬레이션함으로써 달성됩니다. 구슬의 반지름으로 표현되는 하이퍼파라미터를 통해 표준 경사 하강법과의 차이를 조절하며, 이를 통해 다양한 스케일에서 손실 지형을 탐색할 수 있습니다.
