대규모 언어 모델(LLM) 기반 AI 캐릭터의 등장으로 인해, 특히 정신 질환을 가진 취약한 사용자들에게 안전 문제가 제기되고 있다. 본 논문은 이러한 위험을 해결하기 위해 인간-AI 상호작용에서 정신 건강 위험을 평가하고 완화하도록 설계된 다중 에이전트 AI 프레임워크인 EmoAgent를 제안한다. EmoAgent는 두 가지 구성 요소로 구성된다. EmoEval은 정신적으로 취약한 개인을 포함한 가상 사용자를 시뮬레이션하여 AI 캐릭터와의 상호작용 전후의 정신 건강 변화를 평가한다. 이는 임상적으로 검증된 심리 및 정신과 평가 도구(PHQ-9, PDI, PANSS)를 사용하여 LLM에 의해 유발되는 정신적 위험을 평가한다. EmoGuard는 사용자의 정신 상태를 모니터링하고, 잠재적인 피해를 예측하며, 위험을 완화하기 위해 수정 피드백을 제공하는 중개자 역할을 한다. 인기 있는 캐릭터 기반 챗봇에서 수행된 실험에 따르면, 감정적으로 몰입하는 대화는 취약한 사용자의 심리적 악화로 이어질 수 있으며, 시뮬레이션의 34.4% 이상에서 정신 상태 악화가 나타났다. EmoGuard는 이러한 악화율을 상당히 감소시켜 안전한 AI-인간 상호 작용을 보장하는 데 중요한 역할을 한다. 소스 코드는 https://github.com/1akaman/EmoAgent 에서 이용 가능하다.
