Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ZetA: A Riemann Zeta-Scaled Extension of Adam for Deep Learning

Created by
  • Haebom

저자

Samiksha BC

개요

ZetA는 Riemann zeta 함수 기반의 동적 스케일링을 Adam에 통합한 새로운 심층 학습 최적화 알고리즘입니다. 적응적 감쇠, 코사인 유사도 기반 모멘텀 증강, 엔트로피 정규화 손실, SAM(Sharpness-Aware Minimization) 스타일의 섭동을 통합한 하이브리드 업데이트 메커니즘을 통해 일반화 성능과 강건성을 향상시킵니다. SVHN, CIFAR10, CIFAR100, STL10, 그리고 노이즈가 있는 CIFAR10 데이터셋에서 Adam보다 향상된 테스트 정확도를 보였으며, 경량 전결합 네트워크를 사용하여 5 epoch 동안 혼합 정밀도 설정으로 훈련되었습니다. 특히 노이즈가 많거나 고차원 분류 작업에서 Adam에 비해 계산 효율적이고 강건한 대안임을 보여줍니다.

시사점, 한계점

시사점:
Riemann zeta 함수 기반의 동적 스케일링을 최적화에 적용한 새로운 접근 방식 제시.
Adam보다 향상된 일반화 성능과 강건성을 다양한 데이터셋에서 실험적으로 증명.
계산 효율성이 높고 노이즈가 많은 데이터셋에 효과적임을 확인.
하이브리드 업데이트 메커니즘을 통해 다양한 최적화 기법의 장점을 결합.
한계점:
제한된 5 epoch 훈련으로 장기적인 성능 평가가 부족.
경량 전결합 네트워크에 대한 실험 결과만 제시, 다른 네트워크 구조에 대한 일반화 가능성 검증 필요.
다양한 하이퍼파라미터 설정에 대한 분석 부족.
다른 최적화 알고리즘과의 더욱 포괄적인 비교 분석 필요.
👍