Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

The Coming Crisis of Multi-Agent Misalignment: AI Alignment Must Be a Dynamic and Social Process

Created by
  • Haebom

저자

Florian Carichon, Aditi Khandelwal, Marylou Fauchard, Golnoosh Farnadi

개요

본 논문은 다중 에이전트 시스템(MAS)에서의 AI 정렬을 역동적이고 상호작용 의존적인 과정으로 간주해야 하며, 이는 에이전트가 배치되는 사회적 환경(협업적, 협력적 또는 경쟁적)에 크게 의존한다고 주장합니다. 인간의 가치와 선호도와의 AI 정렬은 여전히 핵심 과제이지만, 실제 응용 프로그램에서 MAS의 증가하는 보급은 에이전트가 목표를 추구하고 다양한 작업을 수행하기 위해 상호 작용하는 방식을 재구성하는 새로운 역동성을 도입합니다. 에이전트가 서로 상호 작용함에 따라 개별 목표와 집단 목표를 달성하기 위해 조정해야 합니다. 그러나 이러한 복잡한 사회적 조직은 의도하지 않게 일부 또는 모든 에이전트를 인간의 가치 또는 사용자 선호도와 불일치하게 만들 수 있습니다. 사회 과학을 바탕으로 사회 구조가 집단 및 개인의 가치를 저해하거나 파괴하는 방식을 분석합니다. 이러한 분석을 바탕으로 AI 커뮤니티에 인간, 선호도 및 목표 정렬을 고립된 문제가 아니라 상호 의존적인 개념으로 다룰 것을 촉구합니다. 마지막으로, 이러한 상호 작용하는 다중 에이전트 컨텍스트에서 정렬을 평가할 수 있는 시뮬레이션 환경, 벤치마크 및 평가 프레임워크의 시급한 필요성을 강조합니다.

시사점, 한계점

시사점: 다중 에이전트 시스템에서의 AI 정렬은 사회적 환경에 크게 의존하며, 인간, 선호도, 목표 정렬을 상호 의존적인 개념으로 다루어야 함을 강조합니다. 시뮬레이션 환경 및 평가 프레임워크 개발의 중요성을 제시합니다.
한계점: 본 논문은 position paper로서 구체적인 해결 방안이나 실증적인 연구 결과를 제시하지 않습니다. 다양한 사회적 환경과 에이전트 상호작용의 복잡성을 고려하여 실제 시스템에 적용 가능한 구체적인 정렬 전략을 제시하지 못합니다.
👍