[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Conjunto de datos resultante del estudio de usuarios sobre la comprensibilidad de algoritmos de IA explicables

Created by
  • Haebom

Autor

Szymon Bobek, Paloma Koryci nska, Monika Krakowska, Maciej Mozolewski, Dorota Rak, Magdalena Zych, Magdalena W ojcik, Grzegorz J. Nalepa

Describir

Este artículo presenta un conjunto de datos de resultados de investigación de usuarios sobre la comprensibilidad de algoritmos de inteligencia artificial explicable (XAI). Los participantes, seleccionados entre 149 candidatos, se dividieron en tres grupos: expertos en micología (DE), estudiantes con formación en ciencia de datos y visualización (IT) y estudiantes de ciencias sociales y humanidades (SSH). El contenido principal del conjunto de datos consiste en 39 transcripciones de entrevistas en las que se les pidió a los participantes una serie de tareas y preguntas relacionadas con la interpretación de explicaciones para las decisiones de un modelo de aprendizaje automático entrenado para distinguir entre hongos comestibles y no comestibles. Las transcripciones contienen datos adicionales como visualizaciones de las explicaciones presentadas al usuario, los resultados de un análisis de temas, recomendaciones para mejorar las explicaciones proporcionadas por los participantes y los resultados de una encuesta inicial que proporciona información sobre el conocimiento del dominio y las habilidades de análisis de datos de los participantes. Se realizó un etiquetado manual de las transcripciones para la coincidencia automática entre el texto y otros datos relacionados con una parte específica. Dado el rápido desarrollo de las tecnologías XAI, la necesidad de una evaluación cualitativa multidisciplinaria de la explicabilidad es uno de los temas emergentes en la comunidad. Este conjunto de datos ofrece una amplia gama de posibilidades para el análisis de los datos recopilados, así como para la replicación de la investigación.

Takeaways, Limitations

Takeaways:
Proporcionamos un nuevo conjunto de datos para la evaluación multidisciplinaria y cualitativa de la comprensibilidad de los algoritmos XAI.
Nos permite evaluar la comprensibilidad general de las explicaciones de XAI al incluir aportes de participantes con diversos antecedentes, incluida la micología, la ciencia de datos y las ciencias sociales.
Proporciona una variedad de datos adicionales, como visualizaciones de explicaciones, resultados de análisis de temas y recomendaciones de mejora, lo que permite un análisis en profundidad.
Destaca la importancia de la metodología de investigación cualitativa en la investigación XAI.
Limitations:
El conjunto de datos puede tener una generalización limitada porque está limitado a un modelo de aprendizaje automático específico (modelo de clasificación de hongos comestibles/no comestibles) y un dominio específico (micología).
El número de participantes fue relativamente pequeño, lo que puede dificultar las generalizaciones estadísticas.
Existe la posibilidad de error ya que se depende del etiquetado manual.
👍