Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Optimización adaptativa dinámica para un análisis de sentimientos eficaz y un ajuste preciso en modelos lingüísticos de gran tamaño

Created by
  • Haebom

Autor

Hongcheng Ding, Xuanze Zhao, Ruiting Deng, Shamsul Nahar Abdullah, Deshinta Arrova Dewi, Zixiao Jiang

Describir

En este artículo, proponemos un novedoso marco de aprendizaje multitarea con un módulo de optimización adaptativa dinámica (DAO) para abordar la degradación del rendimiento de los modelos de lenguaje a gran escala (LLM) para el análisis de sentimientos que utilizan el aprendizaje multitarea para gestionar simultáneamente la complejidad de varias tareas. La función de pérdida adaptativa dinámica, un componente fundamental del módulo DAO, ajusta dinámicamente los pesos asignados a cada tarea según su importancia relativa y las características de los datos durante el aprendizaje. Los resultados del análisis de sentimientos en conjuntos de datos de texto financiero estándar y personalizados muestran que el marco propuesto logra un rendimiento superior, mejorando el MSE en un 15,58 % y el ACC en un 1,24 % con respecto a trabajos anteriores.

Takeaways, Limitations

Takeaways:
Demostrando la eficacia del ajuste dinámico del peso en el aprendizaje multitarea.
Presentamos un módulo DAO plug-and-play que se puede integrar fácilmente en modelos existentes.
Verificación experimental de mejoras de rendimiento en el análisis del sentimiento financiero.
Limitations:
Se necesitan más estudios para investigar la generalidad del método propuesto y su aplicabilidad a diferentes tipos de tareas.
Posibles limitaciones de rendimiento dependiendo de las características del conjunto de datos utilizado.
Se necesita un análisis comparativo más completo con otros métodos de aprendizaje multitarea.
👍