Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Generalized Exponentiated Gradient Algorithms Using the Euler Two-Parameter Logarithm

Created by
  • Haebom

저자

Andrzej Cichocki

개요

본 논문에서는 Mirror Descent (MD) 업데이트를 사용하여 Generalized Exponentiated Gradient (GEG) 알고리즘의 새로운 클래스를 제안하고 연구합니다. 이를 위해, 두 매개변수 변형된 로그를 링크 함수로 하는 Bregman 발산을 적용합니다. 이 링크 함수(여기서는 Euler 로그라고 함)는 상대적으로 광범위한 트레이스 형태 엔트로피와 관련이 있습니다. 새로운 GEG/MD 업데이트를 도출하기 위해, Euler 두 매개변수 변형된 로그의 역함수를 근사하는 변형된 지수 함수를 추정합니다. Euler 로그와 그 역함수 변형된 지수 함수의 특성적인 형태와 속성은 두 개의 하이퍼파라미터로 조정됩니다. 이러한 하이퍼파라미터를 학습함으로써, 훈련 데이터의 분포에 적응하고, 경사 하강 알고리즘의 원하는 속성을 달성하도록 조정할 수 있습니다. 수많은 엔트로피 함수와 연관된 변형된 로그가 존재하므로, 한 연구 논문에서 모두 조사하는 것은 불가능합니다. 따라서 본 논문에서는 트레이스 형태 엔트로피 클래스와 연관된 두 매개변수 변형된 로그에 초점을 맞춥니다.

시사점, 한계점

시사점:
Mirror Descent (MD) 업데이트를 활용한 새로운 Generalized Exponentiated Gradient (GEG) 알고리즘 클래스 제안.
Euler 로그를 활용하여 다양한 트레이스 형태 엔트로피에 적용 가능한 알고리즘 개발.
두 개의 하이퍼파라미터 학습을 통해 데이터 분포에 적응하고 경사 하강 알고리즘의 속성 조정 가능.
한계점:
모든 엔트로피 함수와 연관된 변형된 로그를 다루지 못하고 트레이스 형태 엔트로피에 국한됨.
👍