Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
SkLEP : un référentiel de compréhension générale de la langue slovaque
Created by
Haebom
Auteur
Marek \v{S}uppa, Andrej Ridzik, Daniel Hl adek, Tom a\v{s} Jav\r{u}rek, Vikt oria Ondrejov a, Krist ina S asikov a, Martin Tamajka, Mari an \v{S}imko
Contour
Dans cet article, nous présentons skLEP, le premier benchmark complet pour l'évaluation des modèles de compréhension du langage naturel (NLU) slovaques. skLEP comprend neuf tâches distinctes, notamment au niveau des jetons, des paires de phrases et des documents, permettant une évaluation approfondie des capacités du modèle. Nous créons ce benchmark en créant manuellement un nouvel ensemble de données slovaques et en traduisant des ressources NLU anglaises existantes. De plus, nous présentons la première évaluation systématique et approfondie de divers modèles linguistiques spécifiques au slovaque, multilingues et pré-entraînés en anglais, à l'aide de la tâche skLEP. Enfin, nous publions les données complètes du benchmark, une boîte à outils open source pour faciliter l'affinement et l'évaluation des modèles, ainsi qu'un classement public ( https://github.com/slovak-nlp/sklep) pour accroître la reproductibilité et promouvoir la recherche en NLU slovaque.
Takeaways, Limitations
•
Takeaways:
◦
Nous présentons le premier benchmark skLEP complet pour évaluer les modèles NLU slovaques.
◦
ÉValuation complète du modèle sur neuf tâches à différents niveaux (jetons, paires de phrases, documents).
◦
Nous présentons les résultats d’une évaluation systématique pour divers modèles pré-entraînés.
◦
Assurer la reproductibilité et activer la recherche en fournissant des boîtes à outils open source et des classements publics.
•
Limitations:
◦
Actuellement, le Limitations de skLEP n'est pas explicitement mentionné. Des recherches futures pourraient nécessiter des analyses et des améliorations supplémentaires en termes de taille, de qualité et de diversité des tâches de l'ensemble de données.
