본 논문은 물리학적 개념을 활용하여 심층 신경망 학습을 위한 새로운 최적화 알고리즘인 Velocity-Regularized Adam (VRAdam)을 제안합니다. VRAdam은 운동 에너지의 4차항에서 영감을 얻어, 학습 과정에서 발생하는 빠른 진동과 느린 수렴 문제를 해결합니다. 기존 Adam과 같은 알고리즘은 학습 중에 안정성의 한계점에서 작동하여 진동이 발생하고 수렴 속도가 느려지는 반면, VRAdam은 속도에 기반한 고차 페널티를 학습률에 추가하여 가중치 업데이트가 커질 때 알고리즘이 자동으로 속도를 늦춥니다. 이를 통해 고속 영역에서 유효 동적 학습률이 감소하고 진동이 감소되며, 필요에 따라 발산 없이 공격적인 기본 단계 크기를 허용합니다. Adam의 매개변수별 스케일링과 결합하여 하이브리드 최적화 알고리즘을 만들고, CNN, Transformer, GFlowNet 등 다양한 아키텍처와 이미지 분류, 언어 모델링, 이미지 생성, 생성 모델링 등 다양한 작업에서 AdamW를 포함한 표준 최적화 알고리즘보다 VRAdam의 성능이 우수함을 보여줍니다.
