Unified Software Engineering agent as AI Software Engineer
작성자
- Haebom
카테고리
Empty
저자
Leonhard Applis, Yuntong Zhang, Shanchao Liang, Nan Jiang, Lin Tan, Abhik Roychoudhury
개요
본 논문은 대규모 언어 모델(LLM) 기반의 통합 소프트웨어 엔지니어링 에이전트(USEagent)를 제안하고 평가한다. 기존의 특정 소프트웨어 작업에 특화된 에이전트와 달리, USEagent는 코딩, 테스팅, 패치 등 다양한 소프트웨어 엔지니어링 작업을 조율하고 처리할 수 있는 통합 에이전트를 목표로 한다. 이를 위해 다양한 기존 벤치마크를 통합한 통합 소프트웨어 엔지니어링 벤치마크(USEbench)를 구축하고, 1,271개의 저장소 수준 소프트웨어 엔지니어링 작업에 대한 평가를 수행하여 기존의 일반적인 에이전트보다 향상된 효능을 보임을 확인하였다. USEagent는 미래의 AI 소프트웨어 엔지니어의 첫 번째 시도로, 인간과 AI가 공존하는 미래 소프트웨어 개발팀의 팀원으로서의 역할을 기대하고 있다.
시사점, 한계점
•
시사점:
◦
LLM 기반 통합 소프트웨어 엔지니어링 에이전트(USEagent)의 가능성을 제시.
◦
다양한 소프트웨어 엔지니어링 작업을 통합적으로 처리하는 에이전트 개발의 가능성을 보여줌.
◦
기존 에이전트 대비 향상된 성능을 통해 AI 기반 소프트웨어 개발의 발전 가능성을 제시.
◦
USEbench라는 새로운 벤치마크를 제공하여 향후 연구에 기여.
•
한계점:
◦
특정 코딩 작업에 대한 USEagent의 기능적 한계 존재.
◦
USEagent의 성능 향상을 위한 추가적인 개발 필요성 제시.
◦
실제 소프트웨어 개발 환경에서의 실효성 검증 부족.
