본 논문에서는 다양한 트레이스 형태의 엔트로피와 관련된 변형 로그 및 역함수(변형된 일반화 지수 함수)를 활용하여 광범위한 미러 디센트 업데이트(MD)와 새로운 일반화 지수 기울기(GEG) 알고리즘을 제안하고 조사합니다. 제안된 알고리즘은 엔트로픽 MD의 확장이자 곱셈 업데이트의 일반화로 간주될 수 있습니다. 논문에서는 Tsallis, Kaniadakis, Sharma-Taneja-Mittal 엔트로피 및 Tempesta 또는 Kaniadakis-Scarfone 엔트로피와 같은 몇 가지 확장을 중점적으로 다루며, 변형 로그 및 그 역함수의 형태와 속성은 하나 이상의 하이퍼파라미터로 조정됩니다. 이러한 하이퍼파라미터를 학습함으로써 훈련 데이터의 분포에 적응하고 최적화 문제의 특정 기하학적 구조에 맞게 설계하여 더 빠른 수렴과 더 나은 성능을 얻을 수 있습니다. Bregman divergence에 일반화된 엔트로피와 관련된 변형 로그를 정규화 항으로 사용하는 것은 지수 기울기 하강 업데이트에 대한 새로운 통찰력을 제공합니다.
