[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

HALO: Hierarchical Autonomous Logic-Oriented Orchestration for Multi-Agent LLM Systems

Created by
  • Haebom

저자

Zhipeng Hou, Junyi Tang, Yipeng Wang

개요

본 논문은 대규모 언어 모델(LLM) 기반의 다중 에이전트 시스템(MAS)의 한계를 극복하기 위해 계층적 추론 아키텍처 기반의 새로운 협업 프레임워크 HALO를 제시한다. HALO는 작업 분해를 위한 상위 계획 에이전트, 하위 작업별 에이전트 생성을 위한 중간 역할 설계 에이전트, 하위 작업 실행을 위한 하위 추론 에이전트로 구성된다. 특히, 하위 작업 실행은 MCTS(Monte Carlo Tree Search)를 이용한 구조화된 워크플로 검색 문제로 재구성되어 최적의 추론 경로를 생성한다. 또한, 프롬프트 엔지니어링 전문 지식이 부족한 사용자를 위해 적응형 프롬프트 개선 모듈을 활용하여 원시 쿼리를 작업별 프롬프트로 변환한다. Code Generation(HumanEval), General Reasoning(MMLU), Arithmetic Reasoning(MATH) 벤치마크 데이터셋에 대한 실험 결과, HALO는 최첨단 기준 모델보다 평균 14.4% 향상된 성능을 보였으며, 특히 MMLU의 도덕적 시나리오 과제에서는 최대 13.3%, MATH의 대수 분야에서는 최대 19.6%의 성능 향상을 달성하여 전문적인 수준의 과제에서도 우수한 성능을 입증했다. 소스 코드는 https://github.com/23japhone/HALO 에서 확인 가능하다.

시사점, 한계점

•
시사점:
◦
계층적 추론 아키텍처를 통해 다양하고 복잡한 상호작용 환경에서의 적응력과 유연성 향상.
◦
MCTS 기반의 구조화된 워크플로 검색을 통한 최적의 추론 경로 생성 및 전문적인 수준의 과제 해결 능력 향상.
◦
적응형 프롬프트 개선 모듈을 통해 프롬프트 엔지니어링 전문 지식이 없는 사용자도 효과적으로 시스템을 활용 가능.
◦
Code Generation, General Reasoning, Arithmetic Reasoning 등 다양한 분야에서 SOTA 성능 달성.
•
한계점:
◦
HALO의 계층적 구조 및 MCTS 기반의 탐색 과정의 복잡성으로 인한 계산 비용 증가 가능성.
◦
다양한 유형의 작업에 대한 일반화 성능 및 확장성에 대한 추가적인 연구 필요.
◦
적응형 프롬프트 개선 모듈의 성능 한계 및 개선 여지 존재.
◦
특정 벤치마크 데이터셋에 대한 성능 평가 결과이므로, 실제 응용 환경에서의 일반화 성능 검증 필요.
👍
Made with Slashpage