Auditing Multi-Agent LLM Reasoning Trees Outperforms Majority Vote and LLM-as-Judge

Created by

Haebom

저자

Wei Yang, Shixuan Li, Heng Ping, Peiyu Zhang, Paul Bogdan, Jesse Thomason

💡 개요

본 논문은 다중 에이전트 시스템(MAS)에서 LLM의 추론 능력을 확장하는 데 있어 기존의 다수결 투표 방식이 가진 한계를 지적하며, 에이전트들의 추론 과정을 명시적으로 표현하는 '추론 트리'를 활용한 새로운 감사 방법론인 'AgentAuditor'를 제안합니다. AgentAuditor는 추론 트리의 분기점을 중심으로 국소적인 검증을 수행하여 글로벌 판단을 효율적으로 수행하며, 다수결 실패 사례를 학습하여 증거 기반의 소수 의견을 선호하는 ACPO 기법을 함께 제시합니다.

🔑 시사점 및 한계

•

AgentAuditor는 다중 에이전트 LLM 시스템에서 추론의 신뢰성과 정확성을 크게 향상시킬 수 있습니다.

•

기존의 다수결 방식이나 LLM-as-Judge 방식보다 더 나은 성능을 보여주며, 특히 에이전트 간의 잘못된 합의(confabulation consensus) 문제에 강건합니다.

•

제안된 방법론은 다양한 MAS 설정에 적용 가능하며, 실제 적용 시 5%p 이상의 정확도 향상을 가져올 수 있습니다.

•

추론 트리의 표현 및 탐색 과정이 복잡해질 수 있어, 더 대규모의 복잡한 추론 과정에 대한 효율적인 처리 방안에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage