SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks
Created by
Haebom
저자
Pavel Adamenko, Mikhail Ivanov, Aidar Valeev, Rodion Levichev, Pavel Zadorozhny, Ivan Lopatin, Dmitry Babayev, Alena Fenogenova, Valentin Malykh
개요
본 논문은 소프트웨어 엔지니어링 분야에서 사용되는 기존 벤치마크, 특히 SWE-bench 데이터셋의 한계점을 지적하고, 이를 해결하기 위한 새로운 벤치마크인 SWE-MERA를 제시합니다. SWE-bench는 데이터 오염 문제(직접적인 해결책 유출 및 부적절한 테스트 케이스)가 심각하여 신뢰성이 떨어진다는 점을 지적하며, SWE-MERA는 실제 GitHub 이슈를 자동으로 수집하고 엄격한 품질 검증을 통해 이러한 문제를 해결하고자 합니다. 현재 약 10,000개의 잠재적 작업과 300개의 샘플을 제공하며, Aider 코딩 에이전트를 이용한 평가 결과 최신 LLMs의 성능 차이를 명확하게 보여줍니다. 2024년 9월부터 2025년 6월까지 수집된 작업에 대해 12개 이상의 최신 LLMs의 성능을 평가했습니다.
시사점, 한계점
•
시사점:
◦
기존 SWE-bench 데이터셋의 데이터 오염 문제를 밝히고, 새로운 벤치마크의 필요성을 제시함.
◦
실제 GitHub 이슈를 활용한 실제적인 벤치마크 SWE-MERA를 제안하고, 자동화된 데이터 수집 및 품질 검증 파이프라인을 구축함.
◦
다양한 최신 LLMs의 성능을 비교 평가하고, 모델의 차별성을 보여줌.
◦
지속적으로 업데이트되는 동적인 벤치마크를 통해 소프트웨어 엔지니어링 분야의 LLM 발전에 기여.
•
한계점:
◦
현재 10,000개의 잠재적 작업 중 300개의 샘플만 공개되어, 벤치마크의 규모가 제한적임.
◦
SWE-MERA의 품질 검증 과정에 대한 구체적인 설명이 부족할 수 있음.
◦
특정 코딩 에이전트(Aider)에 의존적인 평가 결과가 될 수 있음.
◦
GitHub 이슈에 기반한 데이터셋이므로, 특정 종류의 소프트웨어 엔지니어링 문제에 편향될 가능성이 있음.
