Fleet of Agents: Coordinated Problem Solving with Large Language Models
Created by
Haebom
저자
Lars Klein, Nearchos Potamitis, Roland Aydin, Robert West, Caglar Gulcehre, Akhil Arora
개요
본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위한 새로운 프레임워크인 Fleet of Agents (FoA)를 제시합니다. FoA는 유전 알고리즘 기반의 입자 필터링 기법을 활용하여 다수의 LLM 에이전트를 통해 동적 트리 탐색을 수행합니다. 각 에이전트는 독립적으로 탐색 공간을 탐색하고, 휴리스틱 값 함수를 기반으로 재샘플링을 통해 탐색과 활용 간의 균형을 최적화합니다. 세 가지 벤치마크 과제(Game of 24, Mini-Crosswords, WebShop)와 네 가지 LLM(GPT-3.5, GPT-4, LLaMA3.2-11B, LLaMA3.2-90B)을 사용한 실험 결과, FoA는 기존 최고 성능 방법 대비 약 5%의 성능 향상을 달성하면서 비용은 약 40%만 소모하는 것으로 나타났습니다. 특히, FoA는 모든 벤치마크 방법 중 최고의 비용-성능 균형을 달성했으며, LLaMA3.2-11B와 결합된 FoA는 LLaMA3.2-90B 모델을 능가하는 결과를 보였습니다. FoA는 깃허브(https://github.com/au-clan/FoA)에서 공개적으로 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 추론 능력 향상을 위한 비용 효율적인 새로운 프레임워크 제시.
◦
기존 최고 성능 방법 대비 향상된 비용-성능 균형 달성.
◦
상대적으로 작은 모델(LLaMA3.2-11B)을 사용하여 큰 모델(LLaMA3.2-90B)의 성능을 능가하는 결과 도출.
