Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

On the Condition Number Dependency in Bilevel Optimization

Created by
  • Haebom
Category
Empty

저자

Lesi Chen, Jingzhao Zhang

개요

본 논문은 상위 수준 문제가 비볼록이고 하위 수준 문제가 강볼록인 경우, 1차 방법을 사용하여 $\epsilon$-정상점을 찾는 오라클 복잡성을 연구합니다. 기존 연구는 $\tilde{\mathcal{O}}(\kappa^4 \epsilon^{-2})$의 상한을 달성했지만, 조건수 $\kappa$에 대한 최적 의존성은 알려지지 않았습니다. 본 연구에서는 $\Omega(\kappa^2 \epsilon^{-2})$의 새로운 하한과 $\tilde{\mathcal{O}}(\kappa^{7/2} \epsilon^{-2})$의 상한을 설정하여, 이러한 설정에서 양방향 문제와 최소-최대 문제 간의 첫 번째 입증 가능한 격차를 보입니다. 또한 고차 스무스 함수, 확률적 오라클, 볼록 하이퍼 객체 등 다양한 설정에 대한 하한을 제시합니다.

시사점, 한계점

시사점:
양방향 최적화 문제와 최소-최대 문제 간의 첫 번째 입증 가능한 격차를 제시했습니다.
1차 방법으로 $\epsilon$-정상점을 찾는 문제에 대한 새로운 하한과 상한을 설정했습니다.
고차 스무스 함수, 확률적 오라클, 볼록 하이퍼 객체 등 다양한 설정에 대한 하한을 제시하여, 연구 범위를 확장했습니다.
한계점:
$\kappa$에 대한 최적 의존성은 아직 밝혀지지 않았습니다 (상한과 하한 사이에 간극이 존재).
특정 설정에 대한 하한만 제시되었으며, 모든 설정에 대한 포괄적인 분석은 아닙니다.
연구 결과가 특정 가정(예: 상위 수준 비볼록성, 하위 수준 강볼록성)에 의존합니다.
👍