Este artículo aborda el problema de que, incluso con una alta precisión predictiva, las redes neuronales (NN) tienden a confiar demasiado en predicciones incorrectas (calibración incorrecta), lo que plantea un serio desafío en aplicaciones donde la estimación confiable de la incertidumbre es crucial. Utilizando tres puntos de referencia visuales, analizamos datos que incluían tanto el desacuerdo humano como la confianza colectiva para evaluar la correlación entre la incertidumbre predicha por el modelo y la percepción humana de la incertidumbre. Descubrimos que los métodos actuales solo coinciden débilmente con la intuición humana, y que la correlación varía significativamente entre tareas y medidas de incertidumbre. Específicamente, descubrimos que la incorporación de etiquetas suaves proporcionadas por humanos en el proceso de entrenamiento mejoró la calibración sin comprometer la precisión. Estos resultados demuestran una discrepancia persistente entre el modelo y la incertidumbre humana, lo que destaca el potencial de aprovechar la percepción humana para desarrollar sistemas de IA más confiables.
