CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution
Created by
Haebom
저자
Ruiyang Xu, Jialun Cao, Yaojie Lu, Ming Wen, Hongyu Lin, Xianpei Han, Ben He, Shing-Chi Cheung, Le Sun
개요
CRUXEVAL-X는 기존 코드 벤치마크의 언어 편향과 과제 편향을 해결하기 위해 제안된 다국어 코드 추론 벤치마크입니다. Python에 치우친 기존 벤치마크와 달리, Java, C/C++를 포함한 19개의 프로그래밍 언어를 지원하며, 각 언어당 최소 600개의 과제를 포함하여 총 19,000개의 테스트를 제공합니다. 자동화된 테스트 기반 생성 및 수정 파이프라인을 통해 구축되었으며, 언어 간 전환 규칙을 활용하여 다양한 언어의 코드 추론 능력을 평가합니다. 24개의 대표적인 LLMs에 대한 평가를 통해 언어 간 상관관계를 분석하고, Python 전용으로 학습된 모델의 다른 언어 성능을 측정하여 LLMs의 교차 언어 일반화 능력을 분석합니다.
시사점, 한계점
•
시사점:
◦
기존 코드 벤치마크의 언어 편향 및 과제 편향 문제를 해결하는 다국어 코드 추론 벤치마크 CRUXEVAL-X를 제시.
◦
19개 언어, 19,000개 이상의 테스트 케이스를 통해 LLMs의 다양한 프로그래밍 언어 능력 평가 가능.
◦
자동화된 생성 및 수정 파이프라인을 통해 효율적인 벤치마크 구축 및 유지보수 가능.
◦
다양한 LLMs에 대한 평가를 통해 언어 간 상관관계 및 교차 언어 일반화 능력 분석 가능.
