GSO라는 고성능 소프트웨어 개발 능력 평가를 위한 벤치마크를 제시하는 논문입니다. 10개의 다양한 코드베이스에서 102개의 최적화 과제를 도출하여 자동화된 파이프라인을 통해 성능 테스트를 생성하고 실행합니다. 에이전트는 코드베이스와 성능 테스트를 입력받아 실행 시간 효율성을 개선하는 과제를 수행하며, 전문 개발자의 최적화 결과와 비교 평가합니다. 평가 결과, 최신 SWE-Agent들은 5% 미만의 성공률을 보이며, 추론 시간 확장에도 제한적인 성능 향상만을 보였습니다. 저수준 언어 처리, 지연 최적화 전략, 병목 지점 정확한 식별 등의 어려움이 주요 실패 원인으로 분석되었습니다. 벤치마크 코드, 아티팩트, 에이전트 경로를 공개하여 후속 연구를 지원합니다.
