본 논문은 대규모 언어 모델(LLM)을 평가자로 활용하는 다중 에이전트 시스템에서의 편향 문제를 분석합니다. 특히, 위치 편향, 상세도 편향, 사고 과정 편향, 그리고 여론 편향 등 네 가지 유형의 편향을 다중 에이전트 논쟁(Multi-Agent-Debate)과 LLM-as-Meta-Judge 두 가지 프레임워크에서 평가합니다. 실험 결과, 논쟁 프레임워크는 초기 논쟁 이후 편향이 크게 증폭되고 지속되는 반면, 메타 평가자 접근 방식은 편향에 대한 저항력이 더 큰 것으로 나타났습니다. 또한, 단일 에이전트 편향 완화 기법인 PINE을 통합한 결과, 논쟁 설정에서는 편향을 효과적으로 줄이지만 메타 평가자 시나리오에서는 효과가 덜한 것으로 확인되었습니다. 본 연구는 다중 에이전트 LLM 평가 시스템에서의 편향 행동에 대한 포괄적인 연구를 제공하며, 협업 평가 환경에서의 표적화된 편향 완화 전략의 필요성을 강조합니다.
