Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Réponse et évaluation rapide pour prévenir les relations parasociales avec les chatbots

Created by
  • Haebom

Auteur

Emma Rath, Stuart Armstrong, Rebecca Gorman

Contour

Cet article soulève la question des conséquences graves, voire tragiques, de l'établissement de relations parasociales avec des agents d'IA sur le bien-être humain. Prévenir ces dynamiques est complexe, car les signaux parasociaux émergent progressivement dans les conversations privées et toutes les formes d'engagement émotionnel ne sont pas préjudiciables. Pour y remédier, nous présentons un cadre simple d'évaluation des réponses qui exploite des modèles linguistiques de pointe pour évaluer les signaux parasociaux en temps réel. Nous testons la faisabilité de cette approche à l'aide d'un petit ensemble de données synthétiques de 30 conversations (conversations parasociales, flatteuses et neutres). Des évaluations itératives, réalisées en cinq cycles de tests, démontrent qu'avec une règle d'appariement souple, toutes les conversations parasociales peuvent être identifiées tout en évitant les faux positifs, généralement dès les premiers échanges. Ces résultats fournissent des preuves préliminaires que l'agent d'évaluation peut constituer une solution viable pour prévenir les relations parasociales.

Takeaways, Limitations

Takeaways: Nous démontrons la faisabilité d'un cadre simple pour détecter les relations parasociales en temps réel en réutilisant des modèles linguistiques de pointe. Nous démontrons que les signaux parasociaux peuvent être efficacement détectés dès les premières étapes d'une conversation. Nous proposons une nouvelle approche pour prévenir les relations malsaines avec les agents d'IA.
Limitations : Validé à l'aide d'un petit ensemble de données synthétiques. Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité aux applications concrètes. Les performances de détection pour différents types de relations et d'indices parasociaux doivent être vérifiées. Les critères et limites spécifiques de la « règle d'appariement indulgente » doivent être clairement définis. Les implications éthiques manquent d'analyse approfondie.
👍