Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Testez avant de vous fier : appliquer les tests logiciels pour un apprentissage contextuel fiable

Created by
  • Haebom

Auteur

Teeradaj Racharak, Chaiyong Ragkhitwetsagul, Chommakorn Sontesadisai, Thanwadee Sunetnanta

Contour

Cet article présente MMT4NL, un cadre de test logiciel permettant d'évaluer la fiabilité de l'apprentissage en contexte (ICL) des modèles linguistiques à grande échelle (LLM). MMT4NL exploite des exemples contradictoires et des techniques de test logiciel pour identifier les vulnérabilités des ICL. Il traite les LLM comme des logiciels et génère des exemples contradictoires modifiés à partir d'un ensemble de tests afin de quantifier et d'identifier les bugs dans les invites ICL. Des expériences sur l'analyse des sentiments et les tâches de questions-réponses révèlent divers bugs linguistiques dans les LLM de pointe.

Takeaways, Limitations

•
Takeaways:
◦
Un nouveau cadre (MMT4NL) pour évaluer la fiabilité ICL du LLM à l'aide de techniques de test logiciel est présenté.
◦
Nous démontrons que la génération d’exemples contradictoires peut identifier efficacement les vulnérabilités dans LLM.
◦
A contribué à améliorer les performances de LLM en découvrant divers bugs linguistiques.
•
Limitations:
◦
L'applicabilité de MMT4NL se limite à l'analyse des sentiments et aux tâches de questions-réponses. Sa généralisation à d'autres tâches doit être vérifiée.
◦
Des recherches supplémentaires sont nécessaires pour déterminer l’efficacité et l’évolutivité du cadre proposé.
◦
Une validation supplémentaire est nécessaire pour garantir que tous les types de bugs linguistiques peuvent être détectés.
👍
Made with Slashpage