HALO: Hierarchical Autonomous Logic-Oriented Orchestration for Multi-Agent LLM Systems
Created by
Haebom
저자
Zhipeng Hou, Junyi Tang, Yipeng Wang
개요
본 논문은 대규모 언어 모델(LLM) 기반의 다중 에이전트 시스템(MAS)의 한계를 극복하기 위해 계층적 추론 아키텍처 기반의 새로운 협업 프레임워크 HALO를 제시한다. HALO는 작업 분해를 위한 상위 계획 에이전트, 하위 작업별 에이전트 생성을 위한 중간 역할 설계 에이전트, 하위 작업 실행을 위한 하위 추론 에이전트로 구성된다. 특히, 하위 작업 실행은 MCTS(Monte Carlo Tree Search)를 이용한 구조화된 워크플로 검색 문제로 재구성되어 최적의 추론 경로를 생성한다. 또한, 프롬프트 엔지니어링 전문 지식이 부족한 사용자를 위해 적응형 프롬프트 개선 모듈을 활용하여 원시 쿼리를 작업별 프롬프트로 변환한다. Code Generation(HumanEval), General Reasoning(MMLU), Arithmetic Reasoning(MATH) 벤치마크 데이터셋에 대한 실험 결과, HALO는 최첨단 기준 모델보다 평균 14.4% 향상된 성능을 보였으며, 특히 MMLU의 도덕적 시나리오 과제에서는 최대 13.3%, MATH의 대수 분야에서는 최대 19.6%의 성능 향상을 달성하여 전문적인 수준의 과제에서도 우수한 성능을 입증했다. 소스 코드는 https://github.com/23japhone/HALO 에서 확인 가능하다.