본 논문은 대규모 언어 모델(LLM)의 지도 미세 조정(SFT) 및 정렬을 제약 조건이 있는 최적화 문제로 공식화합니다. 기존의 휴리스틱 기반 방법 대신, 애플리케이션 특정 요구 사항을 충족하도록 LLM을 미세 조정하는 것을 목표로 합니다. 이를 위해, 로그 장벽을 사용하여 제약 조건을 적용하는 Lagrange Large Language Models (L3Ms)를 제안합니다. 실험을 통해 다양한 애플리케이션에 대한 맞춤형 정렬 달성에서 L3Ms의 다양성과 효능을 입증합니다.
