Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

De las métricas al significado: es hora de repensar la evaluación en el diseño colaborativo entre humanos e IA

Created by
  • Haebom

Autor

Sean P. Walton, Ben J. Evans, Alma AM Rahat, James Stovold, Jakub Vincalek

Describir

Este artículo insta a replantear la evaluación de los sistemas colaborativos entre humanos y IA y propone un enfoque más sofisticado y multidimensional. Analizamos el "Genetic Car Designer", un sistema colaborativo entre humanos y IA, mediante un estudio de campo a gran escala con 808 participantes y un estudio de laboratorio controlado con 12 participantes. Los participantes que recibieron propuestas de diseño generadas por un sistema inteligente basado en MAP-Elites demostraron una mayor implicación cognitiva y conductual, y obtuvieron resultados de diseño de mayor calidad que quienes recibieron propuestas de diseño aleatorias. Demostramos que los métodos de evaluación existentes, centrados únicamente en métricas de calidad conductual y de diseño, no logran abarcar todo el espectro de la implicación del usuario. Argumentamos que el proceso de diseño entre humanos y IA debe considerarse una evaluación holística de los sistemas, considerando la evolución de los estados emocionales, conductuales y cognitivos del diseñador. También argumentamos que los sistemas inteligentes deben considerarse elementos centrales de la experiencia del usuario, no simplemente herramientas de backend.

Takeaways, Limitations

•
Takeaways:
◦
Destacamos las limitaciones del enfoque simple y centrado en indicadores existente para evaluar los sistemas de colaboración entre humanos y IA y sugerimos la necesidad de un método de evaluación multidimensional que considere aspectos emocionales, conductuales y cognitivos.
◦
Demostramos empíricamente que los sistemas inteligentes basados ​​en MAP-Elites son eficaces para mejorar la participación del usuario y la calidad del diseño.
◦
Se enfatiza que los sistemas inteligentes deben considerarse un elemento central de la experiencia del usuario en los sistemas de IA humana.
•
Limitations:
◦
Dado que el sistema estudiado está limitado a un tipo específico de tarea de diseño (diseño de automóviles 2D), se necesita más investigación para determinar su generalización a otros tipos de tareas de diseño.
◦
El número de participantes en el estudio de laboratorio fue limitado (n=12), lo que requirió considerar la generalización de los resultados.
◦
Se necesita más investigación sobre indicadores específicos y métodos de medición para evaluar de forma integral los aspectos emocionales, conductuales y cognitivos.
👍
Made with Slashpage