Sign In

Adaptive Online Mirror Descent for Tchebycheff Scalarization in Multi-Objective Learning

Created by
  • Haebom
Category
Empty

저자

Meitong Liu, Xiaoyuan Zhang, Chulin Xie, Kate Donahue, Han Zhao

💡 개요

본 논문은 상충될 수 있는 여러 목표를 동시에 최적화하는 다중 목표 학습(MOL)에서 사용되는 고전적인 체비셰프 스칼라화(TCH) 기법의 최적화 문제를 다룹니다. 기존 TCH의 minimax 공식화로 인한 훈련 불안정성을 해결하기 위해, 제안된 적응형 온라인 거울 하강 알고리즘(Ada)OMD-TCH는 온라인-배치 변환 방식을 개선하여 더 나은 해의 최적성을 달성합니다. 이 알고리즘은 $m$개의 목표와 $T$번의 라운드에 대해 $\mathcal O(\sqrt{\log m/T})$의 수렴 속도를 가지며, 이는 기존 연구보다 더 효율적인 목표 수 의존성을 보여줍니다.

🔑 시사점 및 한계

다중 목표 학습에서 사용되는 체비셰프 스칼라화의 훈련 불안정성 문제를 효과적으로 해결하는 새로운 적응형 온라인 최적화 알고리즘을 제안합니다.
제안된 적응형 온라인-배치 변환 기법은 기존 방식 대비 훈련 효율성과 해의 최적성을 향상시키면서도 이론적 수렴 보장을 유지합니다.
이 알고리즘은 여러 목표에 대해 선호도에 기반한 구체적이고 다양하며 공정한 해를 찾는 데 효과적임을 실험적으로 입증했습니다.
실제 복잡한 다중 목표 학습 시나리오에서 알고리즘의 확장성과 실제 적용 가능성을 추가적으로 검증해야 할 필요가 있습니다.
👍