Este artículo aborda las preocupaciones sobre la confianza, la supervisión, la seguridad y la dignidad humana derivadas de la opacidad de los modelos modernos de aprendizaje automático. Si bien los métodos de explicabilidad facilitan la comprensión de los modelos, sigue siendo un desafío para los desarrolladores diseñar explicaciones que sean comprensibles y efectivas para su público objetivo. Un experimento a gran escala con 124 participantes examinó cómo los desarrolladores brindan explicaciones a los usuarios finales, los desafíos que enfrentan y hasta qué punto las políticas específicas guían su comportamiento. Los resultados revelaron que la mayoría de los participantes tuvieron dificultades para generar explicaciones de alta calidad y adherirse a las políticas proporcionadas, y que la naturaleza y la especificidad de la orientación política tuvieron poco impacto en la efectividad. Argumentamos que esto se debe a la incapacidad de imaginar y anticipar las necesidades de las partes interesadas sin conocimientos técnicos, y recomendamos intervenciones educativas basadas en la teoría de procesos cognitivos y la imaginación social.