본 논문은 대규모 언어 모델(LLM)의 소프트웨어 엔지니어링 능력 평가를 위한 벤치마크인 SWE-Bench Verified의 한계점을 지적한다. 최근 LLM들이 SWE-Bench에서 높은 성능을 보이지만, 이는 실제 문제 해결 능력보다는 데이터 암기나 오염에 기인할 가능성이 있다는 것이다. 논문에서는 이를 검증하기 위해 이슈 설명만으로 파일 경로를 식별하는 작업과 현재 파일 컨텍스트와 이슈 설명만으로 함수를 재현하는 작업이라는 두 가지 진단 과제를 제시한다. 실험 결과, 최첨단 모델들이 SWE-Bench에 포함된 데이터에 대해서는 높은 정확도를 보이지만, 포함되지 않은 데이터에 대해서는 정확도가 급격히 떨어지는 것을 확인하여, SWE-Bench의 평가 결과에 대한 신뢰성 문제를 제기한다. 이는 LLM의 코딩 능력 평가를 위한 더욱 강력하고 오염에 강한 벤치마크의 필요성을 강조한다.
