Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Explicar menos, comprender más: detección de jerga mediante un ajuste fino personalizado y eficiente de parámetros

Created by
  • Haebom

Autor

Bohao Wu, Qingyun Wang, Yue Guo

Describir

Este artículo presenta un método para detectar términos especializados y personalizar explicaciones, lo que permite a lectores con diversos antecedentes comprender documentos especializados. Dado que los enfoques actuales de ajuste fino específicos para cada usuario requieren un esfuerzo de anotación significativo y recursos computacionales, este artículo explora estrategias de personalización eficientes y escalables. Específicamente, exploramos dos estrategias: ajuste fino ligero mediante Adaptación de Bajo Rango (LoRA) en modelos de código abierto e indicaciones personalizadas, que ajustan el comportamiento del modelo en el momento de la inferencia. También estudiamos un enfoque híbrido que combina datos de anotación limitados con señales de fondo del usuario provenientes del aprendizaje no supervisado. Los resultados experimentales muestran que el modelo LoRA personalizado supera a GPT-4 en un 21,4 % en la puntuación F1 y al modelo base de Oracle con mejor rendimiento en un 8,3 %. Además, logra un rendimiento similar utilizando solo el 10 % de los datos de entrenamiento anotados, lo que demuestra su viabilidad incluso en entornos con recursos limitados.

Takeaways, Limitations

Takeaways:
Este es el primer estudio que investiga sistemáticamente un método de personalización de detección de términos eficiente y que utiliza pocos recursos utilizando modelos de lenguaje de código abierto.
Logramos un rendimiento que superó a GPT-4 mediante un ajuste fino liviano basado en LoRA.
Contribuye a construir sistemas de PNL prácticos, escalables y adaptables al usuario manteniendo un alto rendimiento incluso con datos limitados.
Limitations:
Es necesaria una mayor validación de la generalización del conjunto de datos utilizado en el estudio.
Se necesitan más evaluaciones de desempeño para diferentes tipos de terminología y documentos.
Se necesitan investigaciones para mejorar aún más la eficacia de las estrategias de estímulo personalizado.
👍