Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Détection par l'IA du langage inapproprié dans les programmes des facultés de médecine

Created by
  • Haebom

Auteur

Chiman Salavati, Shannon Song, Scott A. Hale, Roberto E. Monténégro, Shiri Dori-Hacohen, Fabricio Murai

Contour

Cet article évalue les performances d'un petit modèle de langage (SLM) et d'un grand modèle de langage pré-entraîné (LLM) pour l'identification automatique du langage inapproprié (IUL) dans les supports de formation médicale. À partir d'un ensemble de données d'environ 500 documents (plus de 12 000 pages), nous avons comparé différents modèles SLM, dont un classificateur général IUL, un classificateur binaire spécifique à une sous-catégorie, un classificateur multi-étiquettes et un pipeline hiérarchique, ainsi qu'un LLM (Llama-3 8B et 70B) avec plusieurs variantes d'invite. Les résultats ont montré que le SLM surpassait significativement le LLM utilisant des plans soigneusement construits, et en particulier, le classificateur binaire spécifique à une sous-catégorie, entraîné sur des exemples négatifs dans des sections exemptes de langage inapproprié, s'est montré le plus performant.

Takeaways, Limitations

Takeaways:
Nous montrons que le SLM est plus efficace que le LLM pour identifier automatiquement l’utilisation inappropriée d’un langage dans les supports de formation médicale.
En particulier, un classificateur binaire de sous-catégories formé à l’aide d’exemples de discours sans utilisation de langage inapproprié a montré des performances élevées.
Suggérer la possibilité de contribuer à l’amélioration de la qualité et à l’élimination des biais dans les supports de formation médicale grâce à un système automatisé basé sur SLM.
Limitations:
La taille de l’ensemble de données utilisé dans l’étude peut être relativement petite.
Il est possible que nous n’ayons pas couvert tous les types d’utilisation inappropriée du langage.
Des recherches et des validations supplémentaires sont nécessaires pour une application aux contextes réels de l’enseignement médical.
Manque d’analyse approfondie des causes de la dégradation des performances du LLM.
👍