본 논문은 복잡한 작업을 해결하기 위해 여러 대규모 언어 모델(LLM)을 협업적으로 조정하는 문제를 다룹니다. 단일 모델과 비교하여 계산 비용과 집단 성능 사이의 근본적인 상충 관계에 초점을 맞춰, 다중 LLM 앙상블에서 협력을 체계적으로 유도하는 새로운 게임 이론에 기반한 강화 학습(RL) 프레임워크인 MAC-SPGG(Multi-Agent Cooperation Sequential Public Goods Game)를 제시합니다. MAC-SPGG에서 LLM 에이전트는 순차적으로 움직이며, 이전 에이전트의 출력을 관찰하고 믿음을 업데이트하여 자신의 기여를 조건화합니다. 공공재 보상을 재설계함으로써, 노력적인 기여가 유일한 부분 게임 완전 내쉬균형(SPNE)이 되어 기존 SPGG 또는 PGG에서의 무임승차를 제거합니다. 순차적 프로토콜은 비용이 많이 드는 라운드 기반 정보 교환을 간소화된 의사 결정 흐름으로 대체하여 통신 오버헤드를 줄이면서 전략적 깊이를 유지합니다. 현실적인 매개변수 하에서 SPNE의 존재와 유일성을 증명하고, 실험적으로 MAC-SPGG로 훈련된 앙상블이 단일 에이전트 기준, 사고 과정 프롬프팅 및 기타 협력 방법보다 우수하며, 추론, 수학, 코드 생성 및 NLP 작업에서 대규모 모델과 비슷한 성능을 달성함을 보여줍니다. 이 결과는 확장 가능하고 강력한 다중 에이전트 언어 생성을 위한 구조적이고 인센티브가 맞춰진 MAC-SPGG 협력의 힘을 강조합니다.
