본 논문은 불확실성 하에서 최적화를 위한 대규모 언어 모델(LLM)의 활용에 초점을 맞추고 있습니다. 기존의 LLM의 고정된 임베딩 사용 대신, 깊은 커널 방법을 통해 Gaussian process (GP)의 marginal likelihood 최적화로 LLM 파인튜닝을 재구성하는 새로운 아키텍처를 제시합니다. LLM 기반의 깊은 커널을 도입하여 LLM의 풍부하고 유연한 입력 공간과 GP의 예측 불확실성을 활용한 효율적인 샘플링을 결합합니다. Buchwald-Hartwig 반응 최적화에 적용한 결과, 고성능 반응 발견율을 거의 두 배(24%에서 43%) 향상시켰으며, 특수한 특징 없이도 도메인 특화 표현보다 14% 향상된 성능을 보였습니다. 19개의 다양한 벤치마크(일반 화학부터 반응 및 분자 특성 최적화까지)에 대한 실험 결과, 과제, LLM 아키텍처, 사전 학습 도메인, 하이퍼파라미터 설정에 걸쳐 견고성과 일반성, 일관된 성능 향상을 보였습니다. 마지막으로, marginal likelihood를 통한 LLM-GP 공동 최적화가 암묵적으로 대조 학습을 수행하여 더 나은 구조의 임베딩 공간, 향상된 불확실성 보정, 더 효율적인 샘플링을 제공한다는 것을 설명합니다.
