Mind the (Belief) Gap: Group Identity in the World of LLMs
Created by
- Haebom
Category
Empty
저자
Angana Borah, Marwa Houalla, Rada Mihalcea
개요
본 논문은 대규모 언어 모델(LLM)이 다양한 작업에서 사회적 편향과 신념에 기반한 행동의 영향을 받는다는 점을 다룬다. 특히, 사회 시뮬레이션을 위한 다중 에이전트 시스템에서 LLM의 사용이 증가함에 따라, 기본적인 집단 심리적 특성을 모델링하는 LLM의 능력이 중요하지만 아직 충분히 탐구되지 않았다. 이 연구는 집단 상호 작용과 선호도를 형성하는 데 중요한 역할을 하는 고전적인 집단 심리 이론인 신념 일치(belief congruence)를 시뮬레이션하는 다중 에이전트 프레임워크를 제시한다. 연구 결과, LLM은 다양한 상황에서 인간보다 신념 일치가 더욱 증폭되는 것을 보여준다. 또한, 이러한 행동이 (1) 잘못된 정보의 확산과 (2) LLM 학습이라는 두 가지 후속 작업에 미치는 영향을 조사하여, LLM의 신념 일치는 잘못된 정보의 확산을 증가시키고 학습을 방해한다는 것을 발견했다. 이러한 부정적 영향을 완화하기 위해, (1) 접촉 가설, (2) 정확성 유도, (3) 세계 시민권 프레임워크에서 영감을 얻은 전략을 제안한다. 결과적으로 제시된 최적 전략은 잘못된 정보의 확산을 최대 37%까지 줄이고 학습을 11% 향상시킨다. 사회 심리학과 AI를 연결하는 본 연구는 신념에 기반한 편향을 해결하면서 LLM을 사용하여 실제 상호 작용을 탐색하는 데 대한 통찰력을 제공한다.
시사점, 한계점
•
시사점:
◦
LLM이 인간보다 신념 일치 현상을 더 강하게 나타냄을 밝힘으로써, LLM 기반 시스템의 사회적 영향에 대한 이해를 심화시킨다.
◦
잘못된 정보 확산 및 LLM 학습 저해와 같은 LLM의 신념 일치로 인한 부정적 결과를 제시한다.
◦
접촉 가설, 정확성 유도, 세계 시민권 프레임워크 등의 전략을 통해 LLM의 신념 일치로 인한 부정적 영향을 완화할 수 있음을 보여준다.
◦
사회 심리학과 AI 연구를 연결하여 실제 세계 문제 해결에 대한 새로운 접근 방식을 제시한다.
•
한계점:
◦
제시된 전략의 일반화 가능성 및 실제 적용 가능성에 대한 추가 연구가 필요하다.
◦
다양한 LLM 아키텍처 및 훈련 데이터에 대한 신념 일치 현상의 일반성에 대한 추가 연구가 필요하다.
◦
본 연구에서 사용된 신념 일치의 정의 및 측정 방식의 한계에 대한 고찰이 필요하다.
◦
더욱 다양하고 복잡한 사회 시뮬레이션 환경에서의 연구가 필요하다.
