Para abordar el desafío de ajustar las restricciones sobre las salidas de redes neuronales en aplicaciones de control críticas para la seguridad, este artículo propone un método de entrenamiento de redes neuronales que deriva imágenes precisas de conjuntos de entrada no convexos para redes neuronales con no linealidades ReLU, con el fin de evitar regiones inseguras no convexas. Esto se logra mediante el análisis de alcanzabilidad utilizando una representación extendida de conjuntos de zonotopos híbridos que permite la detección de colisiones diferenciables mediante programación lineal de enteros mixtos (MILP). El método ha demostrado ser eficiente y rápido para redes de hasta 240 neuronas, y su complejidad computacional está dominada por operaciones inversas sobre matrices que escalan linealmente con el número de neuronas y la complejidad de los conjuntos de entrada e inseguros. Demostramos su viabilidad en el entrenamiento de controladores de redes neuronales invariantes hacia adelante para sistemas dinámicos afines con conjuntos de entrada no convexos y en la generación de planes seguros de evitación de alcance para sistemas dinámicos de caja negra.