Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Biais de performance multilingue des grands modèles linguistiques en éducation

Created by
  • Haebom

Auteur

Vansh Gupta, Sankalan Pal Chowdhury, Vil em Zouhar, Donya Rooein, Mrinmaya Sachan

Contour

Cet article évalue la faisabilité d'un modèle linguistique à grande échelle (MLH) dans un environnement éducatif multilingue (anglais, mandarin, hindi, arabe, allemand, persan, télougou, ukrainien et tchèque). Les performances du LHH ont été mesurées sur quatre tâches pédagogiques : l'identification des idées fausses des étudiants, la fourniture d'un retour personnalisé, le tutorat interactif et la notation des traductions. Les résultats ont révélé que les performances du LHH étaient principalement corrélées à la quantité de langue incluse dans les données d'apprentissage. Les performances étaient particulièrement faibles pour les langues à faibles ressources, la dégradation des performances étant plus fréquente qu'en anglais.

Takeaways, Limitations

Takeaways: En présentant des recherches empiriques évaluant l'applicabilité pédagogique du LLM dans diverses langues, y compris les langues à faibles ressources, nous soulignons l'importance de valider les performances du LLM dans la langue concernée avant de l'appliquer à des contextes éducatifs. Nous avons constaté que les performances du LLM sont significativement affectées par la composition linguistique des données d'apprentissage.
Limitations: Cette étude a évalué une langue et une tâche spécifiques, limitant ainsi sa généralisation à d'autres langues et tâches. De plus, elle manque d'analyse approfondie des causes de la dégradation des performances en LLM. L'absence d'analyse comparative des différents modèles LLM constitue une autre limite.
👍