Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Selección de vecinos guiada por características para la evaluación de predicciones de modelos por parte de no expertos

Created by
  • Haebom

Autor

Courtney Ford, Mark T. Keane

Describir

Para abordar el desafío de los métodos de IA explicable (XAI), que tienen dificultades para producir resultados claros e interpretables para usuarios sin experiencia en el dominio, este artículo propone la Selección de Vecinos Guiada por Características (FGNS), un método post hoc que selecciona ejemplos representativos de clases utilizando la importancia de las características tanto locales como globales. En un estudio de usuarios (N=98) que evaluó la clasificación de la escritura kanji, FGNS mejoró significativamente la capacidad de los no expertos para identificar errores del modelo, manteniendo al mismo tiempo una concordancia razonable con las predicciones precisas. Los participantes tomaron decisiones más rápidas y precisas que aquellos que recibieron explicaciones k-NN tradicionales. El análisis cuantitativo demuestra que FGNS selecciona vecinos que reflejan mejor las características de la clase, en lugar de simplemente minimizar la distancia del espacio de características, lo que lleva a una selección más consistente y una agrupación más densa alrededor de los prototipos de clase. Estos resultados sugieren que FGNS podría ser un paso hacia una evaluación de modelos más centrada en el ser humano, pero se necesita más investigación para cerrar la brecha entre la calidad de la explicación y la confianza percibida.

Takeaways, Limitations

Takeaways:
Demostramos que FGNS es un método XAI eficaz para mejorar la capacidad de identificación de errores del modelo por parte de los no expertos.
Permite una toma de decisiones más rápida y precisa que las explicaciones k-NN existentes.
Proporciona resultados más consistentes al seleccionar vecinos que reflejan mejor las características de la clase.
Presentamos una nueva dirección para la evaluación de modelos centrados en el ser humano.
Limitations:
Se necesitan más investigaciones para cerrar la brecha existente entre la calidad de la descripción y la confianza percibida.
👍