Chaotic Dynamics in Multi-LLM Deliberation

Created by

Haebom

저자

Hajime Shimao, Warut Khern-am-nuai, Sung Joo Kim

💡 개요

본 연구는 다수의 LLM이 협력하는 집단 AI 시스템의 반복 실행 시 안정성을 분석하기 위해, 5개 에이전트로 구성된 LLM 위원회를 무작위 동적 시스템으로 모델링하고 경험적 리아푸노프 지수($\hat{\lambda}$)를 통해 실행 간 민감도를 측정했습니다. 12가지 정책 시나리오 분석 결과, 역할 분담이 없는 동질적인 위원회에서의 역할 분담 또는 역할이 없는 이질적인 모델 구성이 불안정성을 야기하는 두 가지 독립적인 경로를 발견했으며, 이는 종종 결정론적 행동이 기대되는 $T=0$에서도 나타납니다.

🔑 시사점 및 한계

•

다중 LLM 델리버레이션 시스템은 역할 분담이나 모델 이질성과 같은 요인에 의해 예측 불가능한 동적 불안정성을 보일 수 있습니다.

•

시스템 설계자는 이러한 불안정성을 야기하는 요인을 이해하고, 안정성 감사를 핵심 설계 요구사항으로 고려해야 합니다.

•

본 연구에서 제안된 경험적 리아푸노프 지수 측정 방식은 다중 LLM 시스템의 안정성을 정량화하는 데 유용하게 활용될 수 있습니다.

•

향후 연구에서는 더 복잡한 시나리오와 더 많은 수의 LLM을 포함하여 동적 시스템의 일반화된 안정성 특성을 탐구할 필요가 있습니다.

PDF 보기

Made with Slashpage