본 논문은 베이지안 최적화(BO)의 효율성을 향상시키기 위해 대규모 언어 모델(LLM)을 활용한 새로운 방법인 CAKE(Context-Aware Kernel Evolution)를 제안합니다. 기존 BO는 고정된 또는 휴리스틱한 커널 선택 전략에 의존하여 최적이 아닌 해를 도출할 수 있었으나, CAKE는 LLM을 이용하여 관측된 데이터에 기반하여 GP 커널을 적응적으로 생성하고 개선합니다. 더 나아가, BIC(Bayesian Information Criterion)와 예상 개선도를 고려하여 가장 효과적인 커널을 선택하는 BAKER(BIC-Acquisition Kernel Ranking) 방법을 제안합니다. 실험 결과, CAKE 기반 BO는 하이퍼파라미터 최적화, 제어기 튜닝, 광자 칩 설계 등 다양한 실제 문제에서 기존 방법들을 능가하는 성능을 보였습니다.
