CodeARC: Benchmarking Reasoning Capabilities of LLM Agents for Inductive Program Synthesis
Created by
Haebom
저자
Anjiang Wei, Tarun Suresh, Jiannan Cao, Naveen Kannan, Yuheng Wu, Kai Yan, Thiago S. F. X. Teixeira, Ke Wang, Alex Aiken
개요
본 논문은 대규모 언어 모델(LLM)의 귀납적 프로그램 합성 능력을 평가하기 위한 새로운 프레임워크인 CodeARC를 제안합니다. 기존 평가 방식의 한계를 극복하기 위해, CodeARC는 에이전트가 숨겨진 목표 함수와 상호 작용하며, 입력을 질의하고, 후보 함수를 합성하고, 차등 테스트 오라클을 사용하여 반복적으로 솔루션을 개선하는 대화형 설정을 제공합니다. 1114개의 함수를 포함하는 대규모 벤치마크를 구축하여 18개의 모델을 평가한 결과, o3-mini가 52.7%의 성공률로 가장 우수한 성능을 보였으며, LLaMA-3.1-8B-Instruct를 튜닝하여 최대 31%의 성능 향상을 달성했습니다. CodeARC는 LLM 기반 프로그램 합성 및 귀납적 추론을 평가하기 위한 더 현실적이고 어려운 테스트 환경을 제공합니다.
시사점, 한계점
•
시사점:
◦
LLM의 귀납적 프로그램 합성 능력에 대한 현실적인 평가를 위한 새로운 프레임워크인 CodeARC 제시.
◦
대규모 벤치마크를 통해 LLM의 성능 한계와 개선 가능성을 제시.
◦
대화형 설정을 통한 에이전트의 자가 수정 및 함수 호출 능력 평가.
◦
Fine-tuning을 통한 LLM 성능 향상 가능성 확인.
•
한계점:
◦
아직 52.7%의 성공률은 높지 않은 수준으로, LLM의 귀납적 프로그램 합성 능력 향상에 대한 추가 연구 필요.
