Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Analyse comparative des explications XAI avec des évaluations orientées vers l'humain
Created by
Haebom
Auteur
Rémi Kazmierczak, Steve Azzolin, Eloise Berthier, Anna Hedstr om, Patricia Delhomme, David Filliat, Nicolas Bousquet, Goran Frehse, Massimiliano Mancini, Baptiste Caramiaux, Andrea Passerini, Gianni Franchi
Contour
PASTA (Perceptual Assessment System for Explanation of Artificial Intelligence) est un nouveau cadre d'évaluation centré sur l'humain pour les techniques d'IA explicable (IAX) en vision par ordinateur. Nous présentons l'ensemble de données PASTA, un benchmark à grande échelle qui englobe divers modèles et méthodes d'explication (basées sur la saillance et les concepts). Cet ensemble de données permet une analyse robuste et comparable des techniques d'IAX basée sur le jugement humain. De plus, nous présentons un benchmark automatisé et basé sur les données (score PASTA) qui utilise l'ensemble de données PASTA pour prédire les préférences humaines, fournissant des évaluations évolutives, fiables et cohérentes, alignées sur la perception humaine. Nous proposons d'appliquer cette méthode pour étudier l'interprétabilité des modèles existants et développer des méthodes d'IAX plus interprétables par l'humain. Plus précisément, nous nous différencions des recherches existantes en permettant la comparaison d'explications entre différentes modalités.
Takeaways, Limitations_
•
Takeaways:
◦
Fournir un ensemble de données de référence (ensemble de données PASTA) pour l'analyse comparative de techniques XAI diverses et à grande échelle.
◦
Présentation d'un indice d'évaluation automatisé (PASTA-score) qui correspond à la perception humaine
◦
La comparaison des descriptions XAI entre différentes modalités est possible.
◦
Contribuer à l'amélioration de l'interprétabilité des méthodes XAI et au développement de nouvelles méthodes XAI
•
Limitations:
◦
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité de l’ensemble de données PASTA.
◦
Une validation supplémentaire de l’exactitude et de la fiabilité du score PASTA est nécessaire.
◦
Limites des méthodes d'évaluation limitées à des domaines spécifiques de la vision par ordinateur
◦
Des recherches supplémentaires sont nécessaires sur l’applicabilité à d’autres domaines de l’IA (traitement du langage naturel, apprentissage par renforcement, etc.).
