Fully Autonomous Programming using Iterative Multi-Agent Debugging with Large Language Models
Created by
- Haebom
Category
Empty
저자
Anastasiia Grishina, Vadim Liventsev, Aki Harma, Leon Moonen
개요
본 논문은 대규모 언어 모델(LLM)을 이용한 프로그램 합성에서 발생하는 "근접 실패 증후군"(near-miss syndrome) 문제를 해결하기 위해, Synthesize, Execute, Instruct, Debug, and Repair (SEIDR)라는 다중 에이전트 프레임워크를 제안한다. SEIDR은 LLM에 대한 최적 프롬프트 결정, 디버깅 라운드에서 최상의 프로그램을 선택하는 알고리즘, 실패한 프로그램 복구와 새로운 프로그램 생성 간의 균형 등 세 가지 핵심 요소에 초점을 맞춘다. 실험을 통해 교체 중심, 복구 중심, 하이브리드 디버깅 전략을 비교하고, 후보 프로그램 순위 결정을 위해 lexicase와 tournament selection 알고리즘을 평가한다. Program Synthesis Benchmark 2 (PSB2)에서 SEIDR은 기존 OpenAI Codex 및 유전 프로그래밍 방식을 능가하는 성능을 보이며, C++ 및 Python 문제를 다수 해결한다. GPT-3.5와 Llama 3를 이용한 PSB2 및 HumanEval-X 벤치마크 실험 결과, Python 벤치마크에서는 최첨단 성능을 뛰어넘지는 못했지만, HumanEval-C++에서는 Llama 3-8B를 사용한 SEIDR이 평균 pass@100 84.2%를 달성하는 등 유망한 결과를 보였다. 결론적으로 SEIDR은 LLM을 이용한 프로그램 합성에서 근접 실패 증후군을 효과적으로 극복하는 것을 보여준다.
시사점, 한계점
•
시사점:
◦
LLM 기반 프로그램 합성에서 근접 실패 증후군을 효과적으로 해결하는 SEIDR 프레임워크 제시.
◦
PSB2 벤치마크에서 기존 방법 대비 우수한 성능을 검증.
◦
HumanEval-C++ 벤치마크에서 Llama 3-8B를 사용하여 높은 정확도 달성.
◦
LLM 프롬프트 최적화, 프로그램 순위 지정 알고리즘, 복구 전략의 중요성을 실험적으로 규명.
•
한계점:
◦
Python 벤치마크에서는 최첨단 성능을 뛰어넘지 못함.
◦
다양한 LLM과 벤치마크에 대한 추가적인 실험 필요.
◦
SEIDR 프레임워크의 복잡성 및 계산 비용 고려 필요.
