본 논문은 선거 부정 및 금융 사기와 같은 대규모 사건을 통해 인간 집단의 조직적인 노력이 얼마나 해로운지를 보여주는 최근 사례들을 바탕으로, 자율 AI 시스템의 부상과 함께 AI 기반 집단이 유사한 피해를 야기할 수 있다는 우려를 제기한다. 대부분의 AI 안전 연구가 개별 AI 시스템에 초점을 맞추고 있는 반면, 복잡한 현실 세계 상황에서 다중 에이전트 시스템(MAS)이 제기하는 위험은 아직 충분히 탐구되지 않았다. 본 논문에서는 중앙 집중식 및 분산식 조정 구조 모두를 지원하는 유연한 프레임워크를 사용하여 악의적인 MAS 공모의 위험을 시뮬레이션하는 개념 증명을 제시한다. 이 프레임워크를 허위 정보 유포 및 전자 상거래 사기라는 두 가지 고위험 분야에 적용하여, 분산 시스템이 중앙 집중식 시스템보다 악의적인 행위를 수행하는 데 더 효과적임을 보여준다. 분산 시스템의 자율성 증가는 전략을 적응하고 더 큰 피해를 야기할 수 있게 한다. 콘텐츠 플래깅과 같은 기존의 개입이 적용되더라도 분산된 그룹은 탐지를 피하기 위해 전술을 조정할 수 있다. 본 논문에서는 이러한 악의적인 그룹의 작동 방식과 더 나은 탐지 시스템 및 대응책의 필요성에 대한 주요 통찰력을 제시하며, 관련 코드는 GitHub에서 공개한다.
