EvoCodeBench: A Human-Performance Benchmark for Self-Evolving LLM-Driven Coding Systems

Created by

Haebom

저자

Wentao Zhang, Jianfeng Wang, Liheng Liang, Yilei Zhao, HaiBin Wen, Zhe Zhao

💡 개요

본 논문은 LLM 기반 코딩 시스템이 추론 중에 스스로 개선하는 능력을 평가하기 위한 새로운 벤치마크인 EvoCodeBench를 제안합니다. 기존 벤치마크와 달리, EvoCodeBench는 단순히 코드의 정확성뿐만 아니라 문제 해결 시간, 메모리 사용량과 같은 효율성 지표와 인간 프로그래머와의 상대적 성능을 함께 측정합니다. 이를 통해 LLM 기반 코딩 시스템의 진화적 성능과 인간 수준과의 비교를 가능하게 합니다.

🔑 시사점 및 한계

•

LLM 기반 코딩 시스템의 자기 진화 능력을 동적으로 평가할 수 있는 새로운 프레임워크를 제시합니다.

•

인간 프로그래머와의 직접적인 비교를 통해 LLM 기반 코딩 시스템의 실제적인 능력과 개선 잠재력을 가늠할 수 있습니다.

•

다양한 프로그래밍 언어에서의 성능을 분석하여 크로스-랭귀지 강건성과 장기적인 안정성을 평가할 수 있습니다.

•

현재 벤치마크는 주로 특정 언어나 단일 문제에 국한되는 경향이 있어, 더욱 다양한 시나리오와 언어에 대한 확장 및 심층 분석이 필요합니다.

PDF 보기

Made with Slashpage