Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

FinS-Pilot : une référence pour les systèmes RAG financiers en ligne

Created by
  • Haebom

Auteur

Feng Wang, Yiding Sun, Jiaxin Mao, Wei Xue, Danqing Xu

Contour

Cet article propose FinS-Pilot, un nouveau benchmark pour l'évaluation des systèmes de génération augmentée de données (RAG) dans le secteur financier, qui nécessitent un traitement de données en temps réel et une précision experte. FinS-Pilot s'appuie sur des données d'interaction réelles avec des assistants financiers et intègre des données API en temps réel à des données textuelles pour construire un cadre de classification des intentions couvrant des domaines financiers critiques. Des expériences menées auprès de LLM chinois de premier plan démontrent l'efficacité de FinS-Pilot pour identifier des modèles adaptés aux applications financières, fournissant un cadre d'évaluation pratique et un ensemble de données affiné qui contribuent à l'avancement de la recherche sur les systèmes de traitement du langage naturel (TALN) en finance. Le code et l'ensemble de données sont disponibles sur GitHub.

Takeaways, Limitations

•
Takeaways:
◦
FinS-Pilot, une nouvelle référence pour l'évaluation des systèmes RAG dans le secteur financier, est disponible.
◦
Refléter des situations réelles en intégrant des données API en temps réel et des données textuelles
◦
ÉValuation systématique possible grâce à un cadre de classification des intentions
◦
Efficace pour identifier les modèles LLM adaptés aux applications financières
◦
Divulgation d'ensembles de données et de codes contribuant à l'avancement de la recherche sur les systèmes NLP financiers.
•
Limitations:
◦
Actuellement, l’évaluation se concentre sur les LLM chinois majeurs ; des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité du modèle à d’autres langues ou modèles.
◦
Basé sur des données d'interaction réelles avec des assistants financiers, mais une analyse plus approfondie est nécessaire pour déterminer la représentativité et le biais des données.
◦
Une validation supplémentaire de l’universalité et de l’évolutivité de FinS-Pilot est nécessaire.
👍
Made with Slashpage