본 논문은 대규모 언어 모델(LLM)이 제로샷 및 퓨샷 설정에서 다양한 텍스트 생성 작업에 대한 자연어 제약 조건을 이해하는 데 어려움을 겪는다는 점을 지적하며, 특히 시스템 수준 프로그래밍 작업에 널리 사용되는 JSON 및 YAML과 같은 도메인 특정 언어(DSL)로 작성된 코드의 무결성을 유지하기 위해 코드 형식의 제약 조건이 널리 사용되는 코드 영역에서 이 문제가 더욱 두드러진다는 점을 강조합니다. LLM이 시스템 수준 코드 작업에 점점 더 많이 사용됨에 따라, LLM이 이러한 코드 제약 조건을 이해할 수 있는지 평가하는 것이 중요하지만, 아직 이에 대한 평가는 이루어지지 않았습니다. 따라서 본 논문에서는 다섯 가지 표현 방식에 걸쳐 코드 제약 조건에 대한 두 가지 새로운 작업을 포함하는 최초의 벤치마크인 ConCodeEval을 제시합니다. 연구 결과, 언어 모델은 코드 제약 조건을 다루는 데 어려움을 겪는다는 것을 보여줍니다. 일반적인 코드 작업에서 우수한 성능을 보이는 코드 언어도 세분화된 제약 조건을 나타낼 때는 성능이 저하됩니다.
