본 논문은 대규모 언어 모델(LLM)을 활용하여 복잡한 레포지토리 수준의 소프트웨어 엔지니어링 작업을 해결하는 소프트웨어 개발 에이전트에 대한 심층적인 실증 연구를 제시합니다. 기존 연구들이 주로 최종 코드의 정적 분석에 초점을 맞춘 것과 달리, 본 연구는 8개의 상위권 에이전트가 SWE-Bench 벤치마크의 500개 GitHub 이슈를 해결하는 과정에서 생성된 3,977개의 해결 단계 경로와 3,931개의 테스트 단계 로그를 분석했습니다. Python 실행 오류와 해결률 및 추론 오버헤드 간의 상관관계를 분석하고, ModuleNotFoundError, TypeError 등의 빈번한 오류와 OSError, 데이터베이스 관련 오류 등 특히 해결이 어려운 오류들을 밝혔습니다. 또한, SWE-Bench 플랫폼의 3가지 버그를 발견하여 유지 관리자에게 보고했으며, 데이터셋과 분석 스크립트를 공개하여 투명성을 높이고 후속 연구를 장려하고자 합니다.
