Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

When Words Change the Model: Sensitivity of LLMs for Constraint Programming Modelling

Created by
  • Haebom
Category
Empty

저자

Alessio Pellegrino, Jacopo Mauro

개요

최적화 및 제약 프로그래밍 분야의 목표는 자연어로 문제를 설명하고 자동으로 실행 가능하고 효율적인 모델을 생성하는 것이다. 대규모 언어 모델(LLM)이 이 비전을 현실에 더 가깝게 만들었지만, 훈련 데이터 오염으로 인한 것일 수 있다는 가설을 검증하기 위해, CSPLib 문제를 구조는 유지하되 문맥을 변경하고 오해의 소지가 있는 요소를 도입하여 체계적으로 재구성하고 변형했다. 세 개의 대표적인 LLM이 원본 및 수정된 설명에 대해 생성한 모델을 비교 분석한 결과, LLM은 문법적으로 유효하고 의미적으로 타당한 모델을 생성할 수 있지만, 문맥 및 언어적 변화에 따라 성능이 급격히 저하되어 얕은 이해와 단어 선택에 대한 민감성을 보였다.

시사점, 한계점

LLM은 문제 설명으로부터 모델을 생성할 수 있지만, 데이터 오염에 취약하다.
문맥 및 언어적 변화에 따른 LLM의 성능 저하는 얕은 이해를 시사한다.
LLM의 문제 해결 능력이 단어 선택에 크게 의존하는 경향이 있다.
본 연구는 CSPLib 문제에 국한되어 있으며, 다른 문제 유형에 대한 일반화는 필요하다.
LLM의 정확한 추론 능력을 평가하기 위한 더 강력한 평가 방법론이 필요하다.
👍