Este artículo presenta un marco jerárquico de Aprendizaje por Refuerzo Seguro (ARP Seguro) para la toma de decisiones éticas en vehículos autónomos. Este marco está diseñado en torno a un agente de ARP Seguro que genera objetivos de acción de alto nivel utilizando los costos de riesgo ético, que combinan la probabilidad de colisión y la gravedad del daño. Aprovecha un mecanismo dinámico de repetición de experiencias priorizada para mejorar el aprendizaje sobre eventos de alto riesgo poco frecuentes pero críticos, y genera trayectorias fluidas y factibles mediante la planificación de rutas polinómicas y controladores PID y Stanley. El entrenamiento y la validación con un conjunto de datos de tráfico real demuestran un rendimiento superior al de los métodos existentes en términos de reducción de riesgos éticos y mantenimiento del rendimiento de conducción. Cabe destacar que este es el primer estudio de ARP Seguro que evalúa la toma de decisiones éticas en vehículos autónomos en un escenario real de tráfico mixto.