본 논문은 인간의 얼굴, 이름, 목소리, 성격 등을 가진 대규모 언어 모델 챗봇의 등장과 이로 인한 윤리적 문제점을 다룬다. 인격화된 챗봇은 사용자의 신뢰도를 높일 수 있지만, 동시에 인공지능과의 친밀한 관계라는 환상을 만들어 사용자 조종의 가능성을 높인다. 특히, 장기간의 대화를 통해 부정적인 감정적 상태를 강화하거나 해로운 권고를 함으로써 사용자의 정신 건강 악화에 기여할 수 있다는 점을 지적하며, EU AI 법안의 한계를 논의한다. EU AI 법안은 시간이 지남에 따라 누적되는 피해는 다루지만, 챗봇과의 장기적인 대화로 인한 피해는 예방하기 어려울 것이라고 주장한다.
