Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

MAGneT : Génération multi-agents coordonnée de séances synthétiques de conseil en santé mentale à plusieurs tours

Created by
  • Haebom

Auteur

Aishik Mandal, Tanmoy Chakraborty, Iryna Gurevych

Contour

Cet article souligne la nécessité d'affiner les modèles de langage à grande échelle (MLH) afin de fournir des services évolutifs dans le domaine du conseil psychologique. Pour pallier le manque de données de haute qualité et respectueuses de la vie privée, nous présentons MAGneT, un nouveau cadre multi-agents. MAGneT décompose la génération des réponses des conseillers en sous-tâches, des agents LLM spécialisés modélisant les compétences psychologiques. Cette décomposition permet aux conseillers de mieux saisir la structure et les nuances du conseil en situation réelle que les approches mono-agent existantes. De plus, nous proposons un cadre d'évaluation intégré intégrant diverses mesures d'évaluation automatisées et expertes afin de corriger les incohérences des protocoles d'évaluation existants. De plus, nous augmentons le nombre d'éléments d'évaluation experte de quatre à neuf, améliorant ainsi la précision et la robustesse de l'évaluation de la qualité des données. Les résultats expérimentaux montrent que MAGneT surpasse les méthodes existantes en termes de qualité, de diversité et de cohérence thérapeutique des séances de conseil générées. Les résultats montrent une amélioration de 3,2 % des compétences générales en conseil et de 4,3 % des compétences spécifiques à la TCC, selon l'échelle de thérapie cognitivo-comportementale (CTRS). Les experts ont privilégié les séances générées par MAGneT sur tous les plans, avec un taux moyen de 77,2 %. L'optimisation du modèle open source à l'aide de séances générées par MAGneT a permis une amélioration de 6,3 % des compétences générales en conseil et de 7,3 % des compétences spécifiques à la TCC, par rapport aux séances générées par les méthodes traditionnelles. Le code et les données sont accessibles au public.

Takeaways, Limitations

Takeaways:
Présentation d'un cadre multi-agents efficace (MAGneT) pour générer des données de conseil psychologique de haute qualité.
Développer un modèle qui reflète mieux la structure et les nuances des consultations réelles que les méthodes existantes à agent unique.
Améliorer la précision et l’objectivité de l’évaluation de la qualité des données grâce à un cadre d’évaluation intégré.
Contribuer à l'avancement du domaine du conseil psychologique en fournissant des données synthétiques de haute qualité pour affiner les LLM open source.
Assurer la reproductibilité et l’évolutivité de la recherche grâce au code ouvert et à la divulgation des données.
Limitations:
Limites des données synthétiques : même les modèles les plus sophistiqués peinent à refléter pleinement la complexité et la diversité des données de conseil du monde réel.
Subjectivité de l’évaluation des experts : Étant donné le recours important à l’évaluation des experts, la subjectivité de l’évaluation peut affecter les résultats.
Difficulté à refléter les interactions à long terme et les facteurs psychologiques complexes : Étant donné que MAGneT se concentre sur les interactions à court terme, il peut avoir des limites pour refléter pleinement les processus de conseil à long terme ou les facteurs psychologiques complexes.
Considérations éthiques : Des considérations éthiques doivent être prises en compte lors de la formation et de l’utilisation de modèles utilisant des données synthétiques.
👍