LLM 기반 에이전트 시스템은 새로운 소프트웨어 패러다임으로 부상하여 의료, 로봇 공학, 프로그래밍 등 다양한 분야에서 널리 채택되고 있습니다. 그러나 이러한 시스템은 버그가 발생하기 쉽고 변화하는 외부 요구 사항을 충족하기 위해 지속적으로 발전하기 때문에 유지 관리에는 상당한 노력이 필요합니다. 따라서 에이전트 문제(즉, 버그 보고서 또는 기능 요청)를 자동으로 해결하는 것은 매우 중요하면서도 어려운 과제입니다. 최근 소프트웨어 엔지니어링(SE) 에이전트(예: SWE-agent)는 기존 소프트웨어 시스템의 문제 해결에 효과를 보였지만, 기존 소프트웨어와 크게 다른 에이전트 시스템의 실제 문제를 얼마나 효과적으로 해결할 수 있는지는 아직 불분명합니다. 이러한 간극을 메우기 위해 먼저 201개의 실제 에이전트 문제를 수동으로 분석하여 에이전트 문제의 일반적인 범주를 식별했습니다. 그런 다음 500시간의 인력을 투입하여 실행 가능한 환경과 오류 발생 테스트를 포함하는 50개의 에이전트 문제 해결 작업으로 구성된 재현 가능한 벤치마크인 AGENTISSUE-BENCH를 구축했습니다. 또한 최첨단 SE 에이전트를 AGENTISSUE-BENCH에서 평가하여 해결률이 3.33%~12.67%에 불과하여 효과가 제한적임을 밝혔습니다. 이러한 결과는 기존 소프트웨어와 비교하여 에이전트 시스템 유지 관리의 독특한 과제를 강조하며, 에이전트 문제를 해결하기 위한 고급 SE 에이전트 개발을 위한 추가 연구의 필요성을 강조합니다. 데이터와 코드는 https://alfin06.github.io/AgentIssue-Bench-Leaderboard/#/ 에서 이용 가능합니다.
