ARCS: Agentic Retrieval-Augmented Code Synthesis with Iterative Refinement
Created by
- Haebom
Category
Empty
저자
Manish Bhattarai, Miguel Cordova, Minh Vu, Javier Santos, Ismael Boureima, Dan O'Malley
개요
ARCS (Agentic Retrieval-Augmented Code Synthesis)는 파인튜닝 없이 LLM 기반 코드 생성을 개선하는 시스템입니다. ARCS는 동결된 모델을 사용하여 예산 내에서 생성-실행-수정 루프를 통해 작동합니다. 관련 코드 컨텍스트를 검색한 후 후보를 제안하고, 테스트를 통해 실행하며, 실행 피드백을 기반으로 수정합니다. 이러한 검색-생성 방식은 환각을 줄이고 수렴을 가속화합니다. ARCS는 종료, 단조로운 개선, 제한된 비용에 대한 증명 가능한 보장을 갖는 상태-액션 프로세스로 공식화됩니다. 계층화된 컨트롤러 (Small/Medium/Large)는 예측 가능한 방식으로 정확도와 지연 시간을 상쇄합니다. HumanEval에서 ARCS는 Llama-3.1-405B로 최대 87.2% pass@1을 달성하여 CodeAgent (82.3%)를 능가하며, 트리 검색 방법보다 간단한 제어를 사용합니다. TransCoder에서 대부분의 번역 쌍에 대해 90% 이상의 정확도를 달성합니다. LANL 과학 코퍼스에서 baseline RAG보다 CodeBLEU를 +0.115 향상시킵니다. ARCS는 기존 LLM 체크포인트를 사용하여 신뢰할 수 있는 코드 합성에 대한 실용적이고 재현 가능한 접근 방식을 제공합니다.
시사점, 한계점
•
시사점:
◦
파인튜닝 없이도 LLM 기반 코드 생성 성능을 향상시킬 수 있음.
◦
검색-생성 방식은 환각을 줄이고 수렴 속도를 높임.
◦
종료, 단조로운 개선, 비용 제한에 대한 보장을 제공함.
◦
계층화된 컨트롤러를 통해 정확도와 지연 시간을 조절 가능.
◦
HumanEval, TransCoder, LANL 과학 코퍼스에서 우수한 성능을 보임.
◦
기존 LLM 체크포인트를 활용하여 실용적이고 재현 가능한 접근 방식을 제공함.
•
한계점:
◦
논문에 구체적인 한계점 언급 없음.
