Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

MAGneT: Generación coordinada de sesiones sintéticas multiturno de asesoramiento en salud mental con múltiples agentes

Created by
  • Haebom

Autor

Aishik Mandal, Tanmoy Chakraborty, Iryna Gurevych

Describir

Este artículo destaca la necesidad de perfeccionar los modelos de lenguaje a gran escala (LLM) para ofrecer servicios escalables en el ámbito de la consejería psicológica. Para abordar la falta de datos de alta calidad que respeten la privacidad, presentamos MAGneT, un novedoso marco multiagente. MAGneT descompone la generación de respuestas del consejero en subtareas, con agentes LLM especializados que modelan las habilidades psicológicas. Esta descomposición permite a los consejeros captar mejor la estructura y los matices de la consejería en el mundo real que los enfoques actuales de un solo agente. Además, proponemos un marco de evaluación integrado que integra diversas métricas de evaluación automatizadas y de expertos para abordar las inconsistencias en los protocolos de evaluación existentes. Asimismo, ampliamos el número de ítems de evaluación de expertos de cuatro a nueve, mejorando así la precisión y la robustez de la evaluación de la calidad de los datos. Los resultados experimentales muestran que MAGneT supera a los métodos existentes en términos de calidad, diversidad y consistencia terapéutica de las sesiones de consejería generadas. Los resultados muestran una mejora del 3,2 % en las habilidades generales de asesoramiento y del 4,3 % en las habilidades específicas de TCC, según la Escala de Terapia Cognitivo-Conductual (CTRS). Los expertos prefirieron las sesiones generadas por MAGneT en todas las dimensiones, con una tasa promedio del 77,2 %. El perfeccionamiento del modelo de código abierto mediante sesiones generadas por MAGneT resultó en una mejora del 6,3 % en las habilidades generales de asesoramiento y del 7,3 % en las habilidades específicas de TCC, en comparación con las sesiones generadas con métodos tradicionales. El código y los datos están disponibles públicamente.

Takeaways, Limitations

Takeaways:
Presentamos un marco multiagente eficaz (MAGneT) para generar datos de asesoramiento psicológico de alta calidad.
Desarrollar un modelo que refleje mejor la estructura y los matices de las consultas reales que los métodos de agente único existentes.
Mejorar la precisión y objetividad de la evaluación de la calidad de los datos mediante un marco de evaluación integrado.
Contribuir al avance del campo del asesoramiento psicológico proporcionando datos sintéticos de alta calidad para perfeccionar los LLM de código abierto.
Garantizar la reproducibilidad y escalabilidad de la investigación mediante código abierto y la divulgación de datos.
Limitations:
Limitaciones de los datos sintéticos: Incluso los modelos más sofisticados tienen dificultades para reflejar plenamente la complejidad y diversidad de los datos de asesoramiento del mundo real.
Subjetividad de la evaluación de los expertos: debido a que existe una gran dependencia de la evaluación de los expertos, la subjetividad de la evaluación puede afectar los resultados.
Dificultad para reflejar interacciones a largo plazo y factores psicológicos complejos: dado que MAGneT se centra en interacciones a corto plazo, puede tener limitaciones para reflejar plenamente los procesos de asesoramiento a largo plazo o los factores psicológicos complejos.
Consideraciones éticas: Se deben tener en cuenta consideraciones éticas al entrenar y utilizar modelos que utilizan datos sintéticos.
👍