Live-SWE-agent: Can Software Engineering Agents Self-Evolve on the Fly?
Created by
Haebom
Category
Empty
저자
Chunqiu Steven Xia, Zhe Wang, Yan Yang, Yuxiang Wei, Lingming Zhang
개요
Live-SWE-agent는 실제 소프트웨어 문제를 해결하는 동안 런타임에 자율적으로 지속적으로 진화하는 최초의 라이브 소프트웨어 에이전트입니다. 이 에이전트는 bash 도구에만 액세스할 수 있는 가장 기본적인 에이전트 스캐폴드로 시작하여 실제 소프트웨어 문제를 해결하면서 자체 스캐폴드 구현을 자율적으로 진화시킵니다. SWE-bench Verified 벤치마크에 대한 평가는 75.4%의 인상적인 해결률을 달성했으며, SWE-Bench Pro 벤치마크에서는 최첨단 수동 제작 소프트웨어 에이전트를 능가하여 45.8%의 가장 높은 해결률을 보였습니다.
시사점, 한계점
•
Live-SWE-agent는 런타임에 자율적으로 진화하는 첫 번째 라이브 소프트웨어 에이전트입니다.
•
SWE-bench Verified 벤치마크에서 기존 오픈 소스 소프트웨어 에이전트보다 뛰어난 성능을 보였습니다.
•
SWE-Bench Pro 벤치마크에서 최첨단 수동 제작 소프트웨어 에이전트를 능가하는 성능을 보였습니다.