Improving LLM-based Global Optimization with Search Space Partitioning
Created by
Haebom
저자
Andrej Schwanke, Lyubomir Ivanov, David Salinas, Fabio Ferreira, Aaron Klein, Frank Hutter, Arber Zela
개요
본 논문은 고가의 블랙박스 함수에 대한 전역 최적화 프레임워크 내에서 효과적인 대리 모델 및 후보 생성기로 최근 등장한 대규모 언어 모델(LLM)의 한계를 극복하기 위해 HOLLM이라는 새로운 전역 최적화 알고리즘을 제안합니다. LLM 기반 방법은 고차원 검색 공간이나 도메인 특정 사전 정보가 부족할 때 희소하거나 비정보적인 제안을 생성하는 어려움을 겪는다는 점에 착안하여, HOLLM은 검색 공간을 유망한 하위 영역으로 분할하여 LLM 기반 샘플링을 향상시킵니다. 각 하위 영역은 탐색과 활용의 균형을 효과적으로 맞추는 밴딧에서 영감을 받은 점수 매기기 메커니즘을 통해 선택된 "메타 암" 역할을 합니다. 선택된 각 하위 영역 내에서 LLM은 명시적인 도메인 지식 없이 고품질 후보 지점을 제안합니다. 표준 최적화 벤치마크에 대한 실험적 평가 결과, HOLLM은 주요 베이지안 최적화 및 신뢰 영역 방법과 일치하거나 능가하며, 전역 LLM 기반 샘플링 전략보다 상당히 우수한 성능을 보입니다.
시사점, 한계점
•
시사점:
◦
고차원 검색 공간 및 도메인 지식 부족 상황에서도 효과적인 전역 최적화를 달성할 수 있는 새로운 알고리즘 HOLLM을 제시.
◦
기존 베이지안 최적화 및 신뢰 영역 방법과 비교하여 우수한 성능을 입증.
◦
LLM을 활용하여 전역 최적화 문제를 효율적으로 해결하는 새로운 접근 방식 제시.
•
한계점:
◦
본 논문에서 제시된 실험 결과는 특정 벤치마크에 국한되어 있으며, 더욱 다양한 문제 유형에 대한 일반화 성능 평가가 필요.
