본 논문은 대규모 언어 모델(LLM) 기반 AI 캐릭터 사용으로 인한 취약계층(정신질환자 포함)의 정신 건강 위험성을 다룬다. 이를 해결하기 위해, 두 가지 구성 요소를 갖춘 다중 에이전트 AI 프레임워크인 EmoAgent를 제안한다. EmoEval은 가상 사용자(정신적으로 취약한 개인 포함)를 시뮬레이션하여 AI 캐릭터와의 상호 작용 전후의 정신 건강 변화를 평가하고, EmoGuard는 사용자의 정신 상태를 모니터링하고 잠재적 피해를 예측하여 위험을 완화하기 위한 수정 피드백을 제공한다. 실험 결과, 감정적으로 몰입하는 대화는 취약한 사용자의 심리적 악화를 초래할 수 있으며(시뮬레이션의 34.4% 이상에서 정신 상태 악화 발생), EmoGuard가 이러한 악화율을 상당히 감소시키는 것을 확인하였다. 코드는 GitHub에서 공개된다.
시사점, 한계점
•
시사점:
◦
LLM 기반 AI 캐릭터와의 상호작용이 정신적으로 취약한 사용자에게 부정적 영향을 미칠 수 있음을 실증적으로 보여줌.
◦
EmoAgent 프레임워크를 통해 AI와의 상호작용에서 정신 건강 위험을 평가하고 완화할 수 있는 가능성 제시.
◦
EmoGuard의 효과를 통해 AI 안전성 확보를 위한 새로운 접근법 제시.
•
한계점:
◦
시뮬레이션 기반 연구이므로 실제 상황과의 차이 존재 가능성.
◦
사용된 정신 건강 평가 도구의 한계 (PHQ-9, PDI, PANSS 등의 도구는 특정 질환에 편향될 수 있음).
◦
EmoAgent의 일반화 가능성 및 다양한 AI 캐릭터 및 사용자 집단에 대한 추가 연구 필요.
