본 논문은 자연어 설명으로부터 최적화 모델을 자동으로 생성하는 과정에서 대규모 언어 모델(LLM)이 종종 잘못된 모델을 생성하는 문제를 해결하기 위해, 강화학습(RL) 기반의 새로운 프레임워크인 Solver-Informed Reinforcement Learning (SIRL)을 제시한다. SIRL은 외부 최적화 솔버를 검증자로 활용하여 LLM이 생성한 코드와 수학적 모델의 구문, 실행 가능성, 솔루션 품질 등을 정확하게 평가하고, 그 결과를 RL 과정의 보상으로 활용한다. 특히, 기존 최적화 솔버로부터 얻은 자동화된 검증 과정을 통해 고품질 학습 데이터를 생성하는 인스턴스 향상 자기 일관성 방법을 사용한다. 다양한 공개 벤치마크에 대한 실험 결과, SIRL은 기존 방법보다 정확하고 실행 가능한 최적화 모델을 생성하는 데 뛰어난 성능을 보임을 확인했다. 소스 코드는 공개적으로 제공된다.
