Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Respuesta y evaluación rápida para prevenir relaciones parasociales con chatbots

Created by
  • Haebom

Autor

Emma Rath, Stuart Armstrong, Rebecca Gorman

Describir

Este artículo plantea la cuestión de que establecer relaciones parasociales con agentes de IA puede tener consecuencias graves, a veces trágicas, para el bienestar humano. Prevenir estas dinámicas es un desafío, ya que las señales parasociales emergen gradualmente en conversaciones privadas y no todas las formas de interacción emocional son perjudiciales. Para abordar esto, presentamos un marco simple de evaluación de respuestas que aprovecha modelos de lenguaje de vanguardia para evaluar señales parasociales en tiempo real. Probamos la viabilidad de este enfoque utilizando un pequeño conjunto de datos sintéticos de 30 conversaciones (parasociales, halagadoras y neutrales). Evaluaciones iterativas con cinco rondas de prueba demuestran que, bajo una regla de coincidencia flexible, todas las conversaciones parasociales pueden identificarse, evitando falsos positivos, generalmente en los primeros intercambios. Estos resultados proporcionan evidencia preliminar de que el agente de evaluación puede proporcionar una solución viable para prevenir las relaciones parasociales.

Takeaways, Limitations

Takeaways: Demostramos la viabilidad de un marco sencillo para detectar relaciones parasociales en tiempo real mediante la reutilización de modelos lingüísticos de vanguardia. Demostramos que las señales parasociales pueden detectarse eficazmente en las primeras etapas de una conversación. Proponemos un enfoque novedoso para prevenir relaciones perjudiciales con agentes de IA.
Limitations: Validado con un pequeño conjunto de datos sintéticos. Se requiere más investigación para determinar la generalización a aplicaciones del mundo real. Es necesario verificar el rendimiento de la detección para diversos tipos de relaciones y señales parasociales. Es necesario definir claramente los criterios y limitaciones específicos de la "regla de coincidencia flexible". Falta un análisis profundo de las implicaciones éticas.
👍