SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks
Created by
Haebom
저자
Pavel Adamenko, Mikhail Ivanov, Aidar Valeev, Rodion Levichev, Pavel Zadorozhny, Ivan Lopatin, Dmitry Babayev, Alena Fenogenova, Valentin Malykh
개요
본 논문은 소프트웨어 엔지니어링 분야에서 대규모 언어 모델(LLM)의 빠른 발전으로 인해 기존 벤치마크, 특히 널리 사용되는 SWE-bench 데이터셋의 한계가 드러났다는 점을 지적합니다. SWE-bench의 데이터 오염 문제(직접적인 해결책 유출 32.67%, 부적절한 테스트 케이스로 인한 통과 31.08%)를 해결하기 위해, 실제 GitHub 이슈를 자동으로 수집하고 엄격한 품질 검증을 거치는 동적이고 지속적으로 업데이트되는 새로운 벤치마크인 SWE-MERA를 제시합니다. SWE-MERA는 현재 약 10,000개의 잠재적 과제와 300개의 샘플을 제공하며, Aider 코딩 에이전트를 사용한 평가를 통해 최첨단 모델의 강력한 판별력을 보여줍니다. 2024년 9월부터 2025년 6월 사이에 수집된 과제에 대해 12개 이상의 최신 LLM의 성능을 보고합니다.
시사점, 한계점
•
시사점: 기존 소프트웨어 엔지니어링 벤치마크의 한계를 극복하는 새로운 벤치마크 SWE-MERA 제시. 실제 GitHub 이슈 기반의 현실적인 데이터 제공. LLM 성능 평가를 위한 신뢰할 수 있는 기준 마련. 지속적인 업데이트를 통한 최신 동향 반영.
•
한계점: 현재 10,000개의 잠재적 과제 중 300개의 샘플만 공개되어 데이터 규모가 제한적임. 데이터 수집 및 품질 검증 과정의 자동화에 대한 자세한 설명 부족. 다양한 유형의 소프트웨어 엔지니어링 작업에 대한 포괄성 여부에 대한 추가적인 분석 필요.
