LongCodeBench: Evaluating Coding LLMs at 1M Context Windows
Created by
Haebom
저자
Stefano Rando, Luca Romani, Alessio Sampieri, Yuta Kyuragi, Luca Franco, Fabio Galasso, Tatsunori Hashimoto, John Yang
개요
본 논문은 최근 급증하는 장문맥 모델의 컨텍스트 길이에 맞춰 현실적인 장문맥 벤치마크를 구축하는 어려움을 지적하며, 코드 이해 및 수정을 장문맥 모델의 자연스러운 평가 기준으로 제시합니다. GitHub 이슈를 활용하여 장문맥 질의응답(LongCodeQA) 및 버그 수정(LongSWE-Bench) 과제로 구성된 LongCodeBench (LCB) 벤치마크를 소개합니다. 다양한 규모의 모델 (Qwen2.5 14B Instruct부터 Google Gemini)을 평가하여 장문맥이 여전히 모든 모델의 약점임을 보여주고, Claude 3.5 Sonnet의 경우 29%에서 3%로, Qwen2.5의 경우 70.2%에서 40%로 성능 저하가 발생함을 확인합니다.
시사점, 한계점
•
시사점:
◦
장문맥 모델의 성능 평가를 위한 새로운 벤치마크(LongCodeBench) 제시
◦
코드 이해 및 수정이라는 현실적인 과제를 통해 장문맥 모델의 한계점을 명확히 제시
◦
다양한 규모의 모델에 대한 성능 비교 분석 제공
•
한계점:
◦
GitHub 이슈 데이터에 기반한 벤치마크이므로, 데이터 편향 가능성 존재
◦
LongCodeBench가 코드 이해 및 수정에 특화되어 있어, 다른 유형의 장문맥 작업에 대한 일반화 가능성은 제한적일 수 있음
