SemanticOpt: Towards LLM-Based Semantic Black-Box Optimization

작성자

Haebom

카테고리

Empty

저자

Jamison Meindl, Yunsheng Tian, Tony Cui, Veronika Thost, Zhang-Wei Hong, Jie Chen, Wojciech Matusik, Mina Konakovic Lukovic

💡 개요

실험 비용이 많이 들거나 시간이 오래 걸리는 블랙박스 최적화 문제에서 기존 방법론은 수치적 또는 범주형 관찰에만 의존하여 광범위한 도메인 지식을 활용하지 못하는 한계가 있습니다. 본 논문은 자연어 맥락과 결합된 구조화된 베이지안 최적화 궤적 데이터로 미세 조정된 대규모 언어 모델(LLM)을 활용하는 SemanticOpt 프레임워크를 제안합니다. SemanticOpt는 수치적 증거와 의미론적 증거를 함께 사용하여 새로운 실험을 제안하며, 베이지안 대체 모델과 일치하는 해석 가능한 예측을 생성합니다.

🔑 시사점 및 한계

•

LLM의 자연어 이해 능력을 활용하여 블랙박스 최적화 문제 해결에 새로운 접근 방식을 제시합니다.

•

수치적 데이터와 함께 도메인 특화된 텍스트 정보를 통합함으로써 기존 최적화 방법론보다 뛰어난 성능을 보입니다.

•

새로운 실험 제안 시 해석 가능한 예측을 생성하여 최적화 과정을 이해하는 데 도움을 줍니다.

•

LLM 기반 접근 방식의 성능은 제공되는 의미론적 정보의 관련성에 크게 의존할 수 있으며, LLM 자체의 한계점을 극복하는 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage