Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Optimisation adaptative dynamique pour une analyse efficace des sentiments et un réglage précis sur de grands modèles linguistiques

Created by
  • Haebom

Auteur

Hongcheng Ding, Xuanze Zhao, Ruiting Deng, Shamsul Nahar Abdullah, Deshinta Arrova Dewi, Zixiao Jiang

Contour

Dans cet article, nous proposons un nouveau cadre d'apprentissage multitâche avec module d'optimisation adaptative dynamique (DAO) pour remédier à la dégradation des performances des modèles de langage à grande échelle (LLM) pour l'analyse des sentiments. Ces modèles utilisent l'apprentissage multitâche pour gérer simultanément la complexité de diverses tâches. La fonction de perte adaptative dynamique, un composant essentiel du module DAO, ajuste dynamiquement les pondérations attribuées à chaque tâche en fonction de son importance relative et des caractéristiques des données pendant l'apprentissage. Les résultats de l'analyse des sentiments sur des ensembles de données textuelles financières standard et personnalisées montrent que le cadre proposé offre des performances supérieures, améliorant l'erreur quadratique moyenne (MSE) de 15,58 % et l'erreur quadratique moyenne (ACC) de 1,24 % par rapport aux travaux précédents.

Takeaways, Limitations

Takeaways:
Démontrer l’efficacité de l’ajustement dynamique du poids dans l’apprentissage multitâche.
Présentation d'un module DAO plug-and-play qui peut être facilement intégré dans les modèles existants.
Vérification expérimentale des améliorations de performance dans l’analyse du sentiment financier.
Limitations:
D’autres études sont nécessaires pour étudier la généralité de la méthode proposée et son applicabilité à différents types de tâches.
Limitations de performances possibles en fonction des caractéristiques de l'ensemble de données utilisé.
Une analyse comparative plus complète avec d’autres méthodes d’apprentissage multitâches est nécessaire.
👍