Multi-LLM Collaborative Search for Complex Problem Solving
Created by
- Haebom
Category
Empty
저자
Sen Yang, Yafu Li, Wai Lam, Yu Cheng
개요
대규모 언어 모델(LLM)은 자연어의 광대한 추론 공간과 고유한 모호성을 다루는 데 한계가 있어 복잡한 추론 작업에서 어려움을 겪는 경우가 많다. 본 논문에서는 다수의 LLM의 집단적 전문 지식을 활용하여 탐색 기반 추론을 향상시키는 새로운 방법인 혼합 탐색 에이전트(MoSA) 패러다임을 제안한다. MoSA는 독립적인 탐색과 LLM 간의 반복적 개선을 결합하여 다양한 추론 경로를 통합함으로써 단일 모델 방식의 한계를 완화한다. 몬테카를로 트리 탐색(MCTS)을 기반으로 MoSA는 여러 에이전트가 추론 단계를 제안하고 집계하여 정확도를 향상시킨다. 네 가지 추론 벤치마크에 대한 포괄적인 평가는 특히 복잡한 수학 및 상식 추론 작업에서 단일 에이전트 및 다른 다중 에이전트 기준보다 MoSA의 성능이 일관되게 향상됨을 보여준다.
시사점, 한계점
•
시사점:
◦
MoSA는 다중 LLM을 활용하여 복잡한 추론 작업에서 단일 LLM보다 향상된 성능을 보여준다.
◦
MCTS 기반의 다중 에이전트 접근 방식은 다양한 추론 경로를 탐색하고 통합하여 정확도를 높인다.
◦
복잡한 수학 및 상식 추론 문제에서 특히 효과적임을 보여준다.
•
한계점:
◦
제시된 벤치마크의 종류와 수가 제한적일 수 있다.
◦
MoSA의 계산 비용이 단일 LLM 기반 방식보다 높을 수 있다.
◦
다양한 유형의 추론 문제에 대한 일반화 성능에 대한 추가 연구가 필요하다.
