ContractEval: A Benchmark for Evaluating Contract-Satisfying Assertions in Code Generation

Created by

Haebom

저자

Soohan Lim, Joonghyuk Hahn, Hyunwoo Park, Sang-Ki Ko, Yo-Sub Han

💡 개요

본 논문은 기존 코드 생성 평가 방식이 입력 전제 조건(preconditions)을 만족하는 입력에 대해서만 기능적 정확성을 측정하는 한계를 지적하며, 생성된 코드가 이러한 전제 조건을 얼마나 잘 만족하는지 평가하는 새로운 벤치마크인 ContractEval을 제안한다. ContractEval은 명확하게 기술된 계약(contracts)과 함께, 신경-기호적 파이프라인을 통해 합성된 테스트 케이스를 활용하여 코드의 계약 만족도를 평가한다. 이를 통해 기존 LLM들이 기능적 정확성은 높으나 계약 만족도는 현저히 낮다는 사실을 규명하고, 코드 생성 품질 평가의 새로운 축을 제시한다.

🔑 시사점 및 한계

•

코드 생성 모델은 기능적 정확성을 넘어서, 명시적으로 또는 암묵적으로 요구되는 입력 제약 조건(계약)을 준수하는 능력이 중요함을 보여준다.

•

기존 코드 생성 벤치마크와 평가 방식이 실제 코드의 견고성 및 신뢰성 측면에서 놓치고 있는 부분을 명확히 제시한다.

•

제안된 ContractEval 벤치마크는 향후 코드 생성 모델의 계약 만족도 측정을 위한 표준으로 활용될 수 있다.

•

현재 LLM들이 계약 만족도 측면에서 여전히 큰 어려움을 겪고 있으며, 이 부분을 개선하기 위한 추가적인 연구와 모델 개선이 필요하다.

PDF 보기

Made with Slashpage