Este artículo presenta DynaMark, una técnica de marca de agua dinámica basada en aprendizaje de refuerzo para abordar la vulnerabilidad a ataques de repetición de los controladores de máquinas herramienta en red (MTC) en entornos de la Industria 4.0. A diferencia de las técnicas de marca de agua dinámica existentes, que asumen una dinámica gaussiana lineal y estadísticas de marca de agua constantes, DynaMark aprende una política adaptativa en línea que ajusta dinámicamente la covarianza de una marca de agua gaussiana utilizando mediciones del sistema y la retroalimentación del detector sin conocimiento del sistema. Maximizamos una función de recompensa única que equilibra dinámicamente el rendimiento del control, el consumo de energía y la fiabilidad de la detección, y desarrollamos un mecanismo de actualización de creencias bayesianas para la fiabilidad de la detección en tiempo real en sistemas lineales. Utilizando un gemelo digital del controlador Siemens Sinumerik 828D y un banco de pruebas de motor paso a paso real, demostramos que DynaMark reduce la energía de la marca de agua en un 70 % en comparación con los métodos existentes, manteniendo la trayectoria nominal y un retardo de detección promedio de un intervalo de muestreo.
