Este artículo examina la aplicación de la inteligencia artificial explicable (XAI) a los sistemas de apoyo a la toma de decisiones (DSS) basados en IA en el sector de la construcción. Aborda la falta de integración de la evidencia para respaldar la fiabilidad y la rendición de cuentas de los resultados generados por IA, y presenta un marco teórico de objetivos-medios basado en la evidencia, desarrollado mediante una revisión narrativa. El marco proporciona una base epistemológica para el diseño de DSS basados en XAI que genera explicaciones significativas adaptadas a las necesidades de conocimiento y al contexto de decisión de los usuarios, y se centra en la evaluación de la solidez, la relevancia y la utilidad de los diferentes tipos de evidencia que respaldan las explicaciones generadas por IA. Aunque se desarrolló principalmente para profesionales de la construcción como usuarios finales, es aplicable a usuarios con diversos objetivos epistemológicos, como promotores, organismos reguladores y gestores de proyectos.