Which LLM Multi-Agent Protocol to Choose?
Created by
- Haebom
Category
Empty
저자
Hongyi Du, Jiaqi Su, Jisen Li, Lijie Ding, Yingxuan Yang, Peixuan Han, Xiangru Tang, Kunlun Zhu, Jiaxuan You
개요
대규모 멀티 에이전트 시스템의 발전과 함께 통신 프로토콜 계층의 중요성이 커졌으나, 표준화된 지침 없이 직관에 의존하여 프로토콜을 선택하는 문제를 해결하기 위해 ProtocolBench를 제안합니다. ProtocolBench는 작업 성공, 종단간 지연 시간, 메시지 오버헤드, 오류 발생 시의 견고성 등 4가지 측면에서 에이전트 프로토콜을 체계적으로 비교하는 벤치마크입니다. ProtocolBench를 통해 프로토콜 선택이 시스템 성능에 미치는 영향을 확인하고, 학습 가능한 프로토콜 라우터인 ProtocolRouter를 제시하여 시나리오별로 최적의 프로토콜을 선택합니다. ProtocolRouterBench를 통해 프로토콜 평가를 표준화하고 확장성을 위한 신뢰성을 향상시킵니다.
시사점, 한계점
•
ProtocolBench를 통해 다양한 에이전트 프로토콜의 성능을 정량적으로 비교 분석할 수 있는 기반을 마련했습니다.
•
프로토콜 선택이 시스템 성능에 미치는 영향이 크다는 것을 입증했습니다 (예: Streaming Queue 시나리오에서 완료 시간 최대 36.5% 차이).
•
ProtocolRouter를 통해 시나리오 및 모듈별로 최적의 프로토콜을 선택하여 성능을 향상시킬 수 있음을 보여주었습니다 (Fail-Storm 복구 시간 최대 18.1% 감소).
•
ProtocolRouterBench를 통해 프로토콜 평가를 표준화하고, 대규모 시스템의 신뢰성을 높이는 데 기여합니다.
•
논문에서 구체적인 프로토콜의 종류나, ProtocolRouter의 학습 방법 등 세부적인 구현 내용은 제시되지 않았을 수 있습니다.
•
실험에 사용된 시나리오와 환경이 실제 환경을 완전히 반영하지 못할 수 있습니다.
