GitChameleon 2.0: Evaluating AI Code Generation Against Python Library Version Incompatibilities
Created by
Haebom
저자
Diganta Misra, Nizar Islah, Victor May, Brice Rauby, Zihan Wang, Justine Gehring, Antonio Orvieto, Muawiz Chaudhary, Eilif B. Muller, Irina Rish, Samira Ebrahimi Kahou, Massimo Caccia
개요
GitChameleon 2.0은 소프트웨어 라이브러리의 빠른 버전 변화에 따른 코드 생성의 어려움을 해결하기 위해 제작된 새로운 데이터셋입니다. 328개의 Python 코드 완성 문제를 포함하며, 각 문제는 특정 라이브러리 버전에 맞춰져 있고 실행 가능한 단위 테스트가 함께 제공됩니다. 이 데이터셋을 통해 최신 대규모 언어 모델(LLM), LLM 기반 에이전트, 코드 어시스턴트, RAG 시스템 등이 특정 버전에 맞는 코드 생성을 얼마나 잘 수행하는지 실행 기반으로 평가할 수 있습니다. 평가 결과, 최첨단 시스템들조차도 48-51%의 성공률에 그치는 것으로 나타나, 버전 관리를 고려한 코드 생성의 어려움을 보여줍니다. 데이터셋과 평가 코드는 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
소프트웨어 라이브러리 버전 변화에 따른 코드 생성의 어려움을 명확히 보여주는 실행 기반 벤치마크를 제공합니다.
◦
LLM 기반 코드 생성 시스템의 한계를 드러내어 향후 연구 방향을 제시합니다.
◦
공개된 데이터셋을 통해 더욱 적응적이고 신뢰할 수 있는 AI 코드 생성 방법 개발을 촉진합니다.
•
한계점:
◦
현재 Python에만 국한된 데이터셋입니다. 다른 프로그래밍 언어에 대한 확장이 필요합니다.
◦
벤치마크에 포함된 문제의 종류와 난이도가 다양한지에 대한 자세한 설명이 부족합니다.
◦
48-51%의 성공률은 특정 시스템과 설정에 국한된 결과일 수 있으며, 더 넓은 범위의 시스템과 설정에 대한 평가가 필요합니다.
