Jiaru Zou, Xiyuan Yang, Ruizhong Qiu, Gaotang Li, Katherine Tieu, Pan Lu, Ke Shen, Hanghang Tong, Yejin Choi, Jingrui He, James Zou, Mengdi Wang, Ling Yang
개요
본 논문은 대규모 언어 모델(LLM)을 활용한 다중 에이전트 시스템(MAS)에서, 기존의 텍스트 기반 중재 방식을 벗어나 연속적인 잠재 공간 내에서 직접 협업하는 'LatentMAS'라는 새로운 프레임워크를 제시한다. LatentMAS는 각 에이전트가 마지막 레이어의 hidden embeddings을 통해 자기 회귀적 잠재 사고를 생성하고, 공유된 잠재 작업 메모리를 통해 정보를 손실 없이 교환한다. 이론적 분석을 통해 LatentMAS가 기존 텍스트 기반 MAS보다 높은 표현력과 정보 보존 능력을 가지면서도 더 낮은 복잡도를 달성함을 입증하고, 수학, 과학적 추론, 상식 이해, 코드 생성 등 9가지 벤치마크에서 강력한 성능 향상을 보였다. LatentMAS는 최대 14.6%의 정확도 향상, 70.8%-83.7%의 출력 토큰 사용량 감소, 4배에서 4.3배 빠른 추론 속도를 달성하며, 추가적인 훈련 없이 효율성을 크게 향상시켰다.
시사점, 한계점
•
시사점:
◦
LLM 기반 MAS에서 텍스트 기반 통신을 대체하는 잠재 공간 협업의 가능성을 제시.
◦
추가 훈련 없이 성능과 효율성을 동시에 향상시키는 프레임워크 개발.
◦
다양한 벤치마크에서 기존 방법론 대비 우수한 성능 입증.
◦
코드와 데이터를 공개하여 연구 접근성 향상.
•
한계점:
◦
구체적인 LatentMAS의 구조 및 구현에 대한 추가적인 분석 및 설명 필요.
◦
잠재 공간에서의 협업이 가지는 잠재적인 문제점(해석 가능성, 제어의 어려움 등)에 대한 논의 부족.
◦
LatentMAS의 일반화 가능성과 다른 유형의 MAS 문제에 대한 적용 가능성에 대한 추가 연구 필요.
