Contagion Networks: Evaluator Bias Propagation in Multi-Agent LLM Systems

작성자

Haebom

카테고리

Empty

저자

Zewen Liu

💡 개요

본 논문은 다중 에이전트 시스템에서 LLM 평가자의 체계적인 편향이 에이전트 네트워크를 통해 확산되는 문제를 다룹니다. 이를 위해 평가자 편향이 상호작용하는 LLM 에이전트 간에 어떻게 퍼져나가는지 측정하는 'Contagion Networks'라는 프레임워크를 제안합니다. 실험 결과, 평가자 편향이 에이전트 간에 일관되게 전파됨을 확인했으며, 평가자 위원회 크기를 늘리는 것이 편향 확산을 완화하는 효과적인 전략임을 보여줍니다.

🔑 시사점 및 한계

•

LLM 기반 평가 시스템에서 발생하는 편향이 에이전트 간 네트워크를 통해 확산될 수 있다는 점을 정량적으로 보여주었습니다.

•

평가자 위원회 크기를 늘리는 것이 편향 확산 완화에 효과적인 실질적인 해결책이 될 수 있음을 제시했습니다.

•

동일 모델 내에서도 편향이 전파되는 양상이 나타나며, 이는 모델 자체의 특성뿐 아니라 시스템 설계의 중요성을 시사합니다.

•

제시된 contagion regimes (suppression, propagation, amplification) 와 spectral radius rho(Gamma_N)를 통한 분석은 향후 편향 전파 메커니즘 이해 및 제어에 기여할 수 있습니다.

•

실험은 3-에이전트 환경에서 수행되었으며, 더 복잡하고 대규모의 다중 에이전트 시스템에서의 편향 전파 양상 및 이를 완화하기 위한 전략에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage