Este artículo examina la creciente adopción de la IA explicable (XAI) en sistemas de apoyo a la toma de decisiones (DSS) basados en IA en el sector de la construcción. Abordamos la falta de integración de la evidencia para sustentar la fiabilidad y la rendición de cuentas de los resultados generados por IA, y presentamos un marco teórico y empírico de fines-medios, desarrollado mediante una revisión bibliográfica narrativa para abordar este problema. Este marco proporciona una base epistemológica para el diseño de DSS con XAI que generan explicaciones significativas adaptadas a las necesidades de conocimiento y los contextos de decisión de los usuarios, centrándose en la evaluación de la solidez, la relevancia y la utilidad de diversos tipos de evidencia que respaldan las explicaciones generadas por IA. Si bien se desarrolló con profesionales de la construcción como principales usuarios finales, también es aplicable a quienes tienen diversos objetivos epistemológicos, como promotores, organismos reguladores y gestores de proyectos.