Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

FinBERT2 : un encodeur bidirectionnel spécialisé pour combler le fossé dans le déploiement de modèles de langage volumineux spécifiques à la finance

Created by
  • Haebom

Auteur

Xuan Xu, Fufang Wen, Beilin Chu, Zhibing Fu, Qinhong Lin, Jiaqi Liu, Binjie Fei, Yu Li, Linna Zhou, Zhongliang Yang

Contour

Cet article souligne les limites de l'application des modèles de langage à grande échelle (LLM) dans le domaine financier et propose FinBERT2, un modèle BERT chinois spécifique à la finance, pour résoudre ce problème. Malgré son coût de calcul élevé, LLM est moins performant que BERT affiné dans les tâches discriminantes telles que l'analyse du sentiment financier, s'appuie fortement sur la méthode de génération augmentée de récupération (RAG) pour fournir des informations spécifiques dans les tâches génératives et est également déficient dans d'autres scénarios basés sur des caractéristiques comme la modélisation thématique. FinBERT2 est un modèle d'encodeur bidirectionnel pré-entraîné sur un corpus de haute qualité spécifique à la finance de 32 milliards de jetons, et surpasse les modèles (Fin)BERT et LLM existants dans cinq tâches de classification financière. De plus, les Fin-Retrievers basés sur FinBERT2 surpassent les modèles d'intégration existants dans les tâches de récupération financière, et Fin-TopicModel permet un excellent clustering et une excellente représentation thématique des titres financiers. En conclusion, FinBERT2 propose une méthode efficace d'utilisation des modèles spécifiques à la finance à l'ère du LLM.

Takeaways, Limitations_

•
Takeaways:
◦
Nous démontrons que FinBERT2, un modèle BERT spécifique à la finance, surmonte les limites du LLM et atteint des performances supérieures dans le domaine financier.
◦
FinBERT2 offre des performances améliorées par rapport aux modèles existants dans une variété de tâches liées à la finance, notamment la classification, la récupération et la modélisation de sujets.
◦
Nous présentons une méthode permettant d’utiliser efficacement le modèle BERT dans le domaine financier à l’ère du LLM.
•
Limitations:
◦
ÉTant donné que FinBERT2 est spécialisé dans les données financières chinoises, sa généralisabilité à d’autres langues ou domaines peut être limitée.
◦
ÉTant donné que cet article présente des résultats pour un corpus et un modèle d’une certaine taille, la généralisabilité à d’autres échelles de données ou de modèles nécessite une étude plus approfondie.
◦
Les discussions sur l'amélioration des performances de la méthode RAG sont limitées. Des recherches supplémentaires pourraient être nécessaires pour étudier l'amélioration des performances lorsque FinBERT2 est associé à RAG.
👍
Made with Slashpage