본 논문은 검증 가능한 합성 데이터 생성 파이프라인을 통해 신뢰할 수 있는 대규모 언어 모델(LLM) 에이전트를 최적화 모델링에 적용하는 프레임워크를 제시합니다. 선형 및 혼합 정수 선형 프로그래밍에 중점을 두고, 구조화된 기호 표현으로 시작하여 자연어 설명, 수학적 공식 및 솔버 실행 가능 코드를 체계적으로 생성합니다. 알려진 최적 솔루션을 사용하여 각 인스턴스를 프로그래밍 방식으로 구성함으로써 파이프라인은 완전한 검증 가능성을 보장하고 교사 모델이 생성한 저품질 데모를 자동으로 필터링할 수 있습니다. 각 데이터셋 인스턴스에는 최적화 문제의 구조화된 표현, 해당 자연어 설명, 검증된 최적 솔루션 및 여러 최적화 모델링 언어에서 문제를 모델링하고 해결하는 방법을 보여주는 단계별 데모(교사 모델이 생성)가 포함됩니다. 이를 통해 최적화 작업에 맞게 특별히 조정된 오픈소스 LLM의 지도 학습 미세 조정이 가능해집니다. 이 파이프라인을 운영하기 위해, 본 논문은 자연어에서 솔버 준비 코드로의 다단계 변환을 수행하는 모듈식 LLM 에이전트인 OptiTrust를 소개합니다. 이는 단계별 데모, 다국어 추론 및 다수결 교차 검증을 활용합니다. OptiTrust는 표준 벤치마크에서 최첨단 성능을 달성합니다. 7개의 데이터셋 중 6개에서 가장 높은 정확도를 달성했으며, 그중 3개에서는 다음으로 성능이 좋은 알고리즘보다 최소 8% 이상의 성능 향상을 보였습니다. 이 접근 방식은 실제 최적화 애플리케이션을 위한 신뢰할 수 있는 LLM 에이전트를 구축하는 확장 가능하고 검증 가능하며 원칙에 기반한 경로를 제공합니다.
