Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Inercia de formato: un mecanismo de falla de los LLM en la preconsulta médica

Created by
  • Haebom

Autor

Seungseop Lim, Gibaeg Kim, Wooseok Han, Jean Seo, Hyunkyung Lee, Jaehyo Yoo, Eunho Yang

Describir

Los avances en los modelos de lenguaje a gran escala (LLM) han generado mejoras significativas en diversas áreas de servicio, como los chatbots y las aplicaciones de preconsulta médica. El ajuste fino supervisado (SFT) es el método más común para adaptar los LLM a la generación de diálogos multiturno en el ámbito médico. Sin embargo, los conjuntos de datos para SFT en tareas como la preconsulta médica suelen presentar una distribución de turnos desequilibrada. El entrenamiento con estos datos introduce un nuevo mecanismo de fallo, conocido como "inercia de formato", que provoca que el modelo genere preguntas repetitivas, formalmente correctas, pero poco informativas desde el punto de vista diagnóstico, en conversaciones médicas prolongadas. Para mitigar este mecanismo de fallo, adoptamos un método sencillo basado en datos para reequilibrar la distribución de turnos del conjunto de datos de entrenamiento. Los resultados experimentales demuestran que nuestro método mitiga sustancialmente la inercia de formato en la preconsulta médica.

Takeaways, Limitations

Takeaways:
Identificamos un nuevo mecanismo de falla llamado Inercia de Formato.
Demostramos que la inercia del formato se puede mitigar eficazmente utilizando un enfoque centrado en los datos.
Puede contribuir a mejorar el rendimiento de los sistemas de diálogo multiturno como la preconsulta médica.
Limitations:
Se necesitan más investigaciones para determinar la generalización del método propuesto.
No se tuvieron en cuenta otros mecanismos de fallo.
Es necesario explorar otras formas de mejorar más allá del simple reequilibrio de datos.
👍