본 논문은 대규모 언어 모델(LLM) 기반의 유도적 프로그램 합성(Inductive Program Synthesis, IPS)을 위한 새로운 평가 프레임워크인 CodeARC를 제안합니다. 기존의 정적 평가 방식의 한계를 극복하고자, CodeARC는 에이전트가 숨겨진 목표 함수와 상호 작용하며, 입력값을 질의하고, 후보 함수를 합성하고, 차등 테스트 오라클을 사용하여 반복적으로 해결책을 개선하는 상호 작용적인 설정을 제공합니다. 1114개의 함수로 구성된 대규모 벤치마크를 구축하여 18개의 모델을 평가한 결과, o3-mini 모델이 52.7%의 성공률로 가장 좋은 성능을 보였으며, LLaMA-3.1-8B-Instruct 모델을 특별히 튜닝하여 최대 31%의 성능 향상을 달성했습니다. CodeARC는 LLM 기반 프로그램 합성 및 유도적 추론을 평가하기 위한 보다 현실적이고 어려운 테스트 환경을 제공합니다. 코드, 데이터 및 모델은 공개적으로 제공됩니다.
