본 논문은 대규모 언어 모델(LLM) 기반 에이전트의 문제 해결 과정(상호작용 경로)을 최적화하는 새로운 프레임워크인 SE-Agent를 제안합니다. 기존의 MCTS와 같은 방법들이 상호의존성과 다양한 탐색 공간 부족으로 인해 비효율적인 측면이 있음을 지적하며, SE-Agent는 기존 경로를 수정, 재결합, 개선하는 세 가지 연산을 통해 자기 진화적인 방식으로 문제 해결 과정을 반복적으로 최적화합니다. 이를 통해 다양한 해결 경로를 탐색하고, 비효율적인 경로의 영향을 완화하여 성능을 향상시킵니다. SWE-bench Verified를 이용한 실험 결과, 다섯 가지 강력한 LLM에서 최대 55%의 성능 향상을 보이며 최첨단 성능을 달성했습니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 에이전트의 문제 해결 과정 최적화에 대한 새로운 접근 방식 제시
◦
자기 진화적 프레임워크를 통해 탐색 공간 확장 및 성능 향상
◦
기존 경로의 재활용을 통한 효율적인 학습
◦
실제 GitHub 이슈 해결을 통한 실용성 검증 및 우수한 성능 달성 (최대 55% 성능 향상)
◦
오픈소스 공개를 통한 접근성 향상
•
한계점:
◦
제안된 프레임워크의 일반화 가능성에 대한 추가적인 연구 필요
◦
특정 도메인(GitHub 이슈)에 대한 평가 결과이므로 다른 도메인으로의 확장성 검증 필요
