본 논문은 대규모 소프트웨어 저장소의 성능 최적화를 위한 벤치마크인 \textsc{SWE-fficiency}를 소개합니다. 이 벤치마크는 코드 추론 및 소프트웨어 엔지니어링 능력을 평가하며, 프로그램의 정확성을 유지하면서 런타임을 줄이는 데 중점을 둡니다. 498개의 작업을 포함하며, 9개의 널리 사용되는 데이터 과학, 머신 러닝, HPC 저장소(numpy, pandas, scipy 등)를 대상으로 합니다. 에이전트는 전체 코드베이스와 느린 워크로드를 주어진 상황에서 코드 의미를 조사하고, 병목 현상과 관련 테스트를 찾아, 전문가 수준의 속도 향상을 달성하는 패치를 생성해야 합니다. 자동화된 파이프라인은 GitHub 풀 요청에서 성능 개선 편집을 수집하고, 키워드 필터링, 정적 분석, 커버리지 도구, 실행 검증을 통해 전문가의 속도 향상 기준을 확인하고 관련 저장소 단위 테스트를 식별합니다. 최첨단 에이전트의 실험적 평가는 상당한 성능 부족을 보여주며, 평균적으로 전문가 속도 향상의 0.15배 미만을 달성했습니다. 에이전트는 최적화 기회 지역화, 함수 간 실행 추론, 제안된 편집의 정확성 유지에 어려움을 겪었습니다. 이 벤치마크와 데이터 파이프라인은 자동화된 성능 엔지니어링 및 장기적인 소프트웨어 추론 연구를 촉진하기 위해 공개됩니다.
