Generalized Exponentiated Gradient Algorithms Using the Euler Two-Parameter Logarithm
작성자
- Haebom
카테고리
비어 있음
저자
Andrzej Cichocki
개요
본 논문에서는 Mirror Descent (MD) 접근 방식을 사용하는 새로운 Generalized Exponentiated Gradient (GEG) 알고리즘 클래스를 제안하고 조사합니다. 로그의 두 매개변수 변형을 링크 함수로 사용하는 Bregman divergence를 정규화 함수로 적용합니다. 이 링크 함수(Euler 로그라고 함)는 광범위한 일반화된 엔트로피 클래스와 관련이 있습니다. 새로운 GEG/MD 업데이트를 도출하기 위해 Euler 두 매개변수 로그의 역을 근사하는 일반화된 지수 함수를 추정합니다. Euler 로그와 그 역인 변형된 지수 함수의 특성/모양과 속성은 두 개 이상의 하이퍼파라미터로 조정됩니다. 이러한 하이퍼파라미터를 학습함으로써 훈련 데이터의 분포에 적응하고, 기울기 하강 알고리즘의 원하는 속성을 달성하도록 조정할 수 있습니다. 일반화된 엔트로피와 관련된 변형된 로그의 개념은 새로운 기울기 하강 업데이트에 대한 더 깊은 통찰력을 제공합니다. 문헌에는 현재 50개 이상의 수학적으로 잘 정의된 엔트로피 함수와 관련된 변형된 로그가 존재하므로, 하나의 연구 논문에서 모두 조사하는 것은 불가능합니다. 따라서 본 논문에서는 추적 형태 엔트로피와 관련된 일반화된 로그의 광범위한 클래스에 중점을 둡니다. 개발된 알고리즘을 Online Portfolio Selection (OPLS)에 적용하여 성능과 강건성을 향상시켰습니다.
시사점, 한계점
•
시사점: 두 개 이상의 하이퍼파라미터를 통해 기울기 하강 알고리즘의 특성을 조정 가능하게 함으로써, 다양한 데이터 분포에 적응력 있는 GEG 알고리즘을 제시합니다. 일반화된 엔트로피와 변형된 로그의 개념을 활용하여 새로운 기울기 하강 업데이트에 대한 이해를 심화시키고, OPLS 성능 향상에 기여합니다.
•
한계점: 수많은 엔트로피 함수 중 특정 클래스(추적 형태 엔트로피)에만 초점을 맞추었으므로, 다른 엔트로피 함수에 대한 일반화 가능성이 제한적일 수 있습니다. 하이퍼파라미터 학습 전략에 대한 자세한 설명이 부족할 수 있습니다.
