Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Local Entropy Search over Descent Sequences for Bayesian Optimization

Created by
  • Haebom
Category
Empty

저자

David Stenger, Armin Lindicke, Alexander von Rohr, Sebastian Trimpe

개요

본 논문은 대규모 및 복잡한 설계 공간에서 전역 최적값을 찾는 것이 비실용적이거나 불필요할 수 있다는 점을 지적하며, 초기 설계를 기반으로 기울기 하강과 같은 국부 최적화 방법을 사용하여 반복적으로 인접 영역을 개선하는 실용적인 대안을 제시한다. 이를 위해, 반복적 최적화기의 강하 시퀀스로 도달 가능한 솔루션을 명시적으로 타겟팅하는 베이지안 최적화 패러다임인 국부 엔트로피 탐색(LES)을 제안한다. LES는 목적 함수에 대한 사후 신념을 최적화기를 통해 전파하여 강하 시퀀스에 대한 확률 분포를 생성하고, 이 분포와의 상호 정보를 최대화하여 다음 평가를 선택한다. 이 과정에서 분석적 엔트로피 계산과 강하 시퀀스의 몬테카를로 샘플링을 결합하여 사용한다. 고복잡성 합성 목적 함수 및 벤치마크 문제에 대한 실험 결과는 LES가 기존의 국부 및 전역 베이지안 최적화 방법에 비해 강력한 샘플 효율성을 달성함을 보여준다.

시사점, 한계점

시사점:
국부 최적화기의 강하 시퀀스를 타겟팅하는 새로운 베이지안 최적화 방법론 제시.
분석적 엔트로피 계산과 몬테카를로 샘플링을 결합하여 효율적인 정보 획득.
고복잡성 문제에서 기존 방법 대비 우수한 샘플 효율성 입증.
한계점:
논문에 명시된 한계점은 제시되지 않음.
👍