Beyond Majority Voting: LLM Aggregation by Leveraging Higher-Order Information

작성자

Haebom

카테고리

Empty

저자

Rui Ai, Yuqi Pan, David Simchi-Levi, Milind Tambe, Haifeng Xu

💡 개요

다수의 대규모 언어 모델(LLM)로부터 응답을 효과적으로 취합하는 것은 중요한 과제입니다. 본 연구는 기존의 단순 투표 방식이 모델 간의 잠재적 이질성과 상관관계를 간과한다는 점에 주목하여, 최적 가중치(OW) 및 역 놀라운 인기(ISP)라는 두 가지 새로운 알고리즘을 제안합니다. 이 알고리즘들은 1차원 정보뿐만 아니라 2차원 정보까지 활용하여 다수결 투표의 한계를 극복하고 더 신뢰할 수 있는 집단적 의사결정을 가능하게 합니다.

🔑 시사점 및 한계

•

다수결 투표 방식의 근본적인 한계를 이론적으로 분석하고, 이를 개선하는 새로운 LLM 응답 취합 알고리즘(OW, ISP)을 제시합니다.

•

제안된 알고리즘들이 다양한 합성 데이터셋, LLM 미세 조정 벤치마크, 그리고 실제 의료 환경에서도 기존 방식 대비 우수한 성능을 보여주어, 훈련 없이도 효과적인 다중 에이전트 LLM 취합 프레임워크 구축 가능성을 입증했습니다.

•

현재 연구는 주로 첫 번째 및 두 번째 순서의 정보를 활용하며, 모델 간의 더 복잡한 고차 상호작용을 고려한 알고리즘 개발은 향후 과제로 남아있습니다.

PDF 보기

Made with Slashpage