Unleashing LLMs in Bayesian Optimization: Preference-Guided Framework for Scientific Discovery

작성자

Haebom

카테고리

Empty

저자

Xinzhe Yuan, Zhuo Chen, Jianshu Zhang, Huan Xiong, Nanyang Ye, Yuqiang Li, Qinying Gu

💡 개요

본 논문은 과학적 발견 과정에서 발생하는 비싼 실험 비용 및 제한된 자원 문제를 해결하기 위해, 대규모 언어 모델(LLM)의 의미론적 추론 능력을 베이지안 최적화(Bayesian Optimization, BO) 과정에 통합하는 새로운 프레임워크인 LLM-Guided Bayesian Optimization (LGBO)을 제안합니다. LGBO는 기존 BO의 느린 초기 성능과 고차원 문제에서의 확장성 한계를 극복하고자 LLM의 선호도를 최적화 루프에 지속적으로 반영하며, 실험적으로 다양한 과학 분야에서 기존 방법론 대비 우수한 성능을 달성했습니다.

🔑 시사점 및 한계

•

LLM의 추론 능력을 베이지안 최적화의 탐색-활용 균형에 효과적으로 통합하여 과학적 발견 과정을 가속화할 수 있습니다.

•

제안된 LGBO 프레임워크는 특히 실험 비용이 많이 드는 실제 과학 문제에서 기존 BO 및 LLM 기반 기법보다 월등히 빠른 수렴 속도를 보여줍니다.

•

LLM의 선호도와 실제 최적화 목표 간의 불일치 정도에 따라 LGBO의 성능이 달라질 수 있으며, LLM의 편향성 또는 잘못된 추론이 최적화 결과에 영향을 미칠 가능성에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage