Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Detección de lenguaje inapropiado en los programas de medicina mediante IA

Created by
  • Haebom

Autor

Chiman Salavati, Shannon Song, Scott A. Hale, Roberto E. Montenegro, Shiri Dori-Hacohen, Fabricio Murai

Describir

Este artículo evalúa el rendimiento de un modelo de lenguaje pequeño (SLM) y un modelo de lenguaje grande (LLM) preentrenado para la identificación automática de lenguaje inapropiado (IUL) en materiales educativos médicos. Utilizando un conjunto de datos de aproximadamente 500 documentos (más de 12 000 páginas), comparamos varios modelos SLM, incluyendo un clasificador general de IUL, un clasificador binario específico de subcategoría, un clasificador multietiqueta y una secuencia jerárquica, así como un LLM (Llama-3 8B y 70B) con diversas variaciones de indicaciones. Los resultados mostraron que el SLM superó significativamente al LLM utilizando capturas cuidadosamente construidas, y en particular, el clasificador binario específico de subcategoría, entrenado con ejemplos negativos en secciones sin lenguaje inapropiado, tuvo el mejor rendimiento.

Takeaways, Limitations

Takeaways:
Demostramos que SLM es más eficaz que LLM para identificar automáticamente el uso inapropiado del lenguaje en materiales de educación médica.
En particular, un clasificador binario de subcategorías entrenado utilizando ejemplos de habla sin uso inapropiado del lenguaje mostró un alto rendimiento.
Sugerir la posibilidad de contribuir a mejorar la calidad y eliminar sesgos en los materiales de educación médica a través de un sistema automatizado basado en SLM.
Limitations:
El tamaño del conjunto de datos utilizado en el estudio puede ser relativamente pequeño.
Es posible que no hayamos cubierto todos los tipos de uso inapropiado del lenguaje.
Se necesitan más investigaciones y validaciones para su aplicación en entornos de educación médica reales.
Falta de análisis en profundidad de las causas de la degradación del rendimiento del LLM.
👍