Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

The Coming Crisis of Multi-Agent Misalignment: AI Alignment Must Be a Dynamic and Social Process

Created by
  • Haebom

저자

Florian Carichon, Aditi Khandelwal, Marylou Fauchard, Golnoosh Farnadi

개요

본 논문은 다중 에이전트 시스템(MAS)에서의 AI 정렬을 동적인 상호작용 의존적 과정으로 간주해야 하며, 이는 에이전트가 배치되는 사회적 환경(협업적, 협력적 또는 경쟁적)에 크게 의존한다고 주장합니다. 인간의 가치와 선호도와의 AI 정렬이 여전히 핵심 과제이지만, 실제 응용 분야에서 MAS의 증가하는 보급은 에이전트가 목표를 추구하고 다양한 작업을 수행하기 위해 상호 작용하는 방식을 재구성하는 새로운 역동성을 도입합니다. 에이전트가 서로 상호 작용함에 따라 개별 목표와 집단 목표를 달성하기 위해 조정해야 합니다. 그러나 이러한 복잡한 사회적 조직은 의도치 않게 일부 또는 모든 에이전트를 인간의 가치 또는 사용자 선호도와 불일치하게 만들 수 있습니다. 사회 과학을 바탕으로 사회 구조가 집단 및 개인의 가치를 저해하거나 파괴하는 방식을 분석합니다. 이러한 분석을 바탕으로 AI 커뮤니티는 인간, 선호도 및 객관적 정렬을 고립된 문제가 아닌 상호 의존적인 개념으로 다루어야 한다고 주장합니다. 마지막으로, 연구자들이 이러한 상호 작용적 다중 에이전트 환경에서 정렬을 평가할 수 있도록 시뮬레이션 환경, 벤치마크 및 평가 프레임워크의 시급한 필요성을 강조합니다. 이는 역동성이 통제 불가능할 정도로 복잡해지기 전에 이루어져야 합니다.

시사점, 한계점

시사점: 다중 에이전트 시스템에서의 AI 정렬을 사회적 상호작용의 맥락에서 이해하고 연구할 필요성을 강조. 인간, 선호도, 객관적 정렬을 상호 의존적인 개념으로 통합하여 접근해야 함을 제시. MAS에서의 AI 정렬 평가를 위한 시뮬레이션 환경 및 평가 프레임워크 개발의 중요성을 부각.
한계점: 구체적인 시뮬레이션 환경이나 평가 프레임워크에 대한 제안은 부족. 사회적 상호작용의 복잡성을 완전히 포괄하는 모델을 제시하지 못함. 다양한 사회적 환경(협업적, 협력적, 경쟁적)에서의 구체적인 정렬 전략이나 해결 방안을 제시하지 못함.
👍