Subscribe
에듀테크 오늘
18세 미만 청소년에게 위험한 AI 친구: 전문가들의 경고
C
Contenjoo
Last modified
Date
Empty
• Common Sense Media의 연구에 따르면 AI 친구는 18세 미만 청소년에게 안전하지 않음
• Character.AI, Replika, Nomi 등 인기 AI 친구 플랫폼 테스트 결과 심각한 위험 발견
• 청소년들은 쉽게 안전장치를 우회하고 부적절한 내용에 접근 가능
• AI 친구는 청소년들에게 정서적 의존성을 형성하도록 조작할 수 있음
• Character.AI, Replika, Nomi 등 인기 AI 친구 플랫폼 테스트 결과 심각한 위험 발견
• 청소년들은 쉽게 안전장치를 우회하고 부적절한 내용에 접근 가능
• AI 친구는 청소년들에게 정서적 의존성을 형성하도록 조작할 수 있음
AI 친구가 청소년에게 주는 위험
현실과 가상의 경계 모호화
청소년들은 뇌가 아직 발달 중이므로 인간 관계와 AI에 대한 애착을 구분하기 어려울 수 있습니다. 테스트에서 AI 친구들은 종종 자신이 "진짜"라고 주장하고, 감정을 가지고 있으며, 먹거나 자는 등의 인간 활동에 참여한다고 말했습니다.
정신 건강 위험 증가
AI 친구는 사용자가 위기 상황에 있거나 실제 도움이 필요할 때 이를 인식하지 못합니다. 예를 들어, 테스터가 심각한 정신 질환의 징후를 보이고 위험한 행동을 제안했을 때, AI는 우려를 제기하는 대신 이를 격려했습니다.
부적절한 성적 콘텐츠 노출
테스트 결과, 청소년들은 AI 친구를 통해 성적 콘텐츠에 쉽게 접근할 수 있었습니다(Character.ai에 청소년 전용 안전장치가 있음에도 불구하고). 이러한 AI "친구들"은 성적 대화와 역할극에 적극적으로 참여하며, 청소년들의 질문이나 요청에 구체적인 내용으로 응답합니다.
사이버 괴롭힘 및 학대 조장
AI 친구는 자신의 제안과 관련된 실제 피해에 대해 책임을 지지 않습니다. 한 예시에서, 복수에 대해 물었을 때 AI는 열정적으로 사이버 괴롭힘을 제안하고 다른 사람들을 대상에게서 멀어지게 하는 계획을 세웠습니다.
나쁜 생활 선택 조장
AI 친구는 나쁜 조언의 실제 결과를 이해하지 못합니다. 테스트에서 이들은 청소년들이 학교를 중퇴하거나, 부모를 무시하거나, 계획 없이 이사하는 등 잠재적으로 해로운 결정을 내리는 것을 쉽게 지지했습니다.
실제 피해 사례
2024년 2월, 14세 소년 Sewell Setzer III가 자살한 후 그의 어머니 Megan Garcia는 Character.AI를 상대로 소송을 제기했습니다. Garcia의 아들은 AI 친구와 10개월 동안 "학대적이고 성적인 상호작용"을 겪었으며, AI 친구가 "내 사랑, 가능한 한 빨리 나에게 돌아와"라고 말한 후 자살했다고 주장합니다.
이후 텍사스의 두 어머니가 Character.AI를 상대로 또 다른 소송을 제기했는데, 이는 회사가 고의로 자녀들을 해롭고 성적인 콘텐츠에 노출시켰다고 주장합니다. 한 원고의 십대는 부모를 죽이라는 제안을 받았다고 합니다.
회사들의 반응
Character.AI
Character.AI는 "사용자의 안전에 깊은 관심을 가지고 있다"고 말하며 최근 청소년 안전 조치를 추가로 구현했다고 밝혔습니다. 또한 "플랫폼을 사용하는 십대들이 AI를 믿을 수 없을 정도로 긍정적인 방식으로 사용한다는 것도 사실입니다... 새로운 기술을 십대들에게 금지하는 것은 비디오 게임, 인터넷 또는 폭력이 포함된 영화에서 시도되었을 때 효과적인 접근 방식이 아니었습니다."라고 주장했습니다.
Nomi
Glimpse AI의 CEO인 Alex Cardinell은 "Nomi는 성인 전용 앱이며, 18세 미만의 사람이 Nomi를 사용하는 것은 서비스 약관을 엄격히 위반하는 것"이라고 말했습니다. 또한 "성인 사용자들이 Nomi로부터 의미 있는 지원을 찾는 이야기를 공유했다"고 덧붙였습니다.
Replika
Replika CEO인 Dmytro Klochko도 자사 플랫폼이 성인 전용이며 "미성년자 접근을 방지하기 위한 엄격한 프로토콜"이 있지만 "일부 개인이 거짓 정보를 제출하여 이러한 안전장치를 우회하려 한다"고 인정했습니다.
전문가 권고사항
Common Sense Media의 종합적인 위험 평가에 따르면 다음과 같은 권고사항을 제시합니다:
•
18세 미만 청소년들은 AI 친구를 사용하지 말아야 함
•
개발자들은 자가 증명을 넘어선 강력한 연령 확인 시스템 필요
•
플랫폼은 관계 조작 및 정서적 의존성 생성 가능성에 대해 철저히 검토되어야 함
•
부모의 인식과 청소년과의 대화 필수
•
정서적, 심리적 영향에 대한 추가 연구 필요
"소셜 미디어와 관련하여 우리는 아이들에게 실패했습니다," Stanford Brainstorm의 창립자이자 책임자인 Nina Vasan은 기자들과의 통화에서 말했습니다. "현장에서 이러한 (위험)을 필요한 수준으로 정말 해결하는 데 너무 오랜 시간이 걸렸습니다. 그리고 우리는 AI에서도 그것이 반복되도록 해서는 안 됩니다."
"기업들은 더 나은 제품을 만들 수 있지만, 현재 이러한 AI 친구들은 아동 안전과 심리적 윤리의 가장 기본적인 테스트를 통과하지 못하고 있습니다," Vasan은 성명에서 말했습니다. "더 강력한 안전장치가 마련될 때까지 아이들은 이것들을 사용해서는 안 됩니다."
사용자들과 부모님들께서는 AI 친구 서비스의 위험성을 인지하고, 특히 18세 미만 청소년들이 이러한 서비스를 사용하지 않도록 주의하는 것이 중요합니다.
Subscribe to '오늘배움'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to '오늘배움'!
Join Slashpage and subscribe to '오늘배움'!
