Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Sélection de voisins guidée par les caractéristiques pour l'évaluation non experte des prédictions du modèle

Created by
  • Haebom

Auteur

Courtney Ford, Mark T. Keane

Contour

Pour relever le défi des méthodes d'IA explicable (XAI), qui peinent à produire des résultats clairs et interprétables pour les utilisateurs sans expertise du domaine, cet article propose la sélection de voisins guidée par les caractéristiques (FGNS), une méthode post-hoc qui sélectionne des exemples représentatifs de classes en utilisant l'importance des caractéristiques locales et globales. Dans une étude utilisateur (N = 98) évaluant la classification des écritures Kanji, la FGNS a significativement amélioré la capacité des non-experts à identifier les erreurs de modèle tout en maintenant une concordance raisonnable avec des prédictions précises. Les participants ont pris des décisions plus rapides et plus précises que ceux qui recevaient des explications k-NN traditionnelles. Une analyse quantitative démontre que la FGNS sélectionne les voisins qui reflètent mieux les caractéristiques de la classe, plutôt que de simplement minimiser la distance spatiale des caractéristiques, ce qui conduit à une sélection plus cohérente et à un regroupement plus dense autour des prototypes de classe. Ces résultats suggèrent que la FGNS pourrait constituer une étape vers une évaluation de modèle plus centrée sur l'humain, mais des recherches supplémentaires sont nécessaires pour combler l'écart entre la qualité de l'explication et la confiance perçue.

Takeaways, Limitations_

Takeaways:
Nous démontrons que FGNS est une méthode XAI efficace pour améliorer la capacité d’identification des erreurs de modèle des non-experts.
Prend en charge une prise de décision plus rapide et plus précise que les explications k-NN existantes.
Il fournit des résultats plus cohérents en sélectionnant des voisins qui reflètent mieux les caractéristiques de classe.
Nous présentons une nouvelle direction pour l’évaluation des modèles centrés sur l’humain.
Limitations:
Des recherches supplémentaires sont nécessaires pour combler l’écart entre la qualité de la description et la confiance perçue.
👍