본 논문은 대규모 언어 모델(LLM)이 코드 생성에는 뛰어나지만 현대 AI 소프트웨어 엔지니어링 작업에는 어려움을 겪는다는 점을 지적합니다. 기존의 함수 또는 파일 단위 코딩 작업과 달리, AI 소프트웨어 엔지니어링은 기본적인 코딩 능력뿐만 아니라 코드 저장소 관리 및 상호 작용에 대한 고급 기술을 필요로 합니다. 따라서 저장소 수준의 코드 이해가 중요함에도 불구하고, 기존 방법들은 이를 간과하는 경우가 많습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 현대 AI 소프트웨어 엔지니어링 솔루션을 위한 저장소 수준 구조를 관리하는 플러그인 모듈인 RepoGraph를 제시합니다. RepoGraph는 AI 소프트웨어 엔지니어에게 필요한 안내를 제공하고 저장소 전체를 탐색할 수 있도록 지원합니다. SWE-bench를 사용하여 네 가지 다른 방법에 RepoGraph를 통합하여 평가한 결과, 모든 시스템의 성능을 크게 향상시켜 오픈소스 프레임워크 중 최첨단 성능을 달성했습니다. 또한 CrossCodeEval에 대한 테스트를 통해 RepoGraph의 확장성과 유연성을 입증했습니다. 소스 코드는 GitHub에서 공개적으로 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
저장소 수준의 코드 이해를 통해 AI 소프트웨어 엔지니어링 작업의 성능을 향상시킬 수 있음을 보여줍니다.
◦
RepoGraph는 다양한 AI 소프트웨어 엔지니어링 시스템에 적용 가능한 확장성과 유연성을 가집니다.
◦
오픈소스로 공개되어 다른 연구자들이 활용하고 발전시킬 수 있습니다.
◦
기존 방법들보다 성능이 우수한 새로운 최첨단 기술을 제시합니다.
•
한계점:
◦
현재는 SWE-bench와 CrossCodeEval 두 개의 벤치마크에 대한 평가만 진행되었습니다. 더 다양하고 광범위한 벤치마크 평가가 필요합니다.
◦
RepoGraph의 성능 향상 정도는 사용되는 LLM 및 다른 시스템에 따라 달라질 수 있습니다. 더욱 심도있는 분석이 필요합니다.
◦
RepoGraph의 적용 가능성과 효율성을 다양한 유형의 코드 저장소에 대해 평가해야 합니다.
