Benchmarking Generative AI Against Bayesian Optimization for Constrained Multi-Objective Inverse Design

Created by

Haebom

저자

Muhammad Bilal Awan, Abdul Razzaq, Abdul Shahid

개요

본 논문은 제약 조건이 있는 다중 목표 회귀 문제를 해결하기 위한 생성적 옵티마이저로서 대규모 언어 모델(LLM)의 성능을 조사합니다. 특히, 역설계(속성-구조 매핑)의 어려운 영역에 초점을 맞춥니다. 이 문제는 재료 정보학에 중요하며 파레토 최적 전선에 있는 복잡하고 실행 가능한 입력 벡터를 찾는 것을 목표로 합니다. LLM은 생성 및 추론 작업 전반에 걸쳐 보편적인 효과를 보여주었지만, 명시적으로 설계되지 않은 제약 조건이 있는 연속적이고 고차원적인 수치 공간에서 그 유용성은 아직 열린 연구 문제입니다. 저자들은 기존의 베이지안 최적화(BO) 프레임워크와 미세 조정된 LLM 및 BERT 모델을 비교 연구했습니다. BO의 경우, BoTorch Ax 구현을 최첨단 q-Expected Hypervolume Improvement (qEHVI, BoTorchM)에 대해 벤치마킹했습니다. 생성적 접근 방식은 Parameter-Efficient Fine-Tuning (PEFT)을 통해 모델을 미세 조정하고, 사용자 정의 출력 헤드를 사용하여 문제를 회귀 문제로 구성했습니다. 그 결과, BoTorch qEHVI가 완벽한 수렴(GD=0.0)을 달성하여 최고 성능을 보였습니다. 가장 성능이 좋은 LLM(WizardMath-7B)은 1.21의 Generational Distance (GD)를 달성하여 기존 BoTorch Ax 기반(GD=15.03)보다 훨씬 뛰어난 성능을 보였습니다. 전문화된 BO 프레임워크가 보장된 수렴에 대한 성능 리더로 남아 있지만, 미세 조정된 LLM은 유망하고 계산적으로 빠른 대안으로 검증되었으며, AI 기반 최적화 분야에 필수적인 비교 메트릭을 제공합니다. 본 연구 결과는 기계적, 유변학적, 화학적 특성 간의 다중 목표 트레이드 오프가 혁신 및 생산 효율성에 중요한 레진, 폴리머, 페인트의 제형 설계를 최적화하는 데 직접적으로 적용될 수 있습니다.