본 논문은 산업 4.0 환경에서 네트워크로 연결된 머신 툴 컨트롤러(MTC)의 재생 공격 취약성을 해결하기 위해 강화 학습 기반의 동적 워터마킹 기법인 DynaMark를 제시합니다. 기존의 동적 워터마킹 기법들이 선형-가우시안 동역학과 일정한 워터마크 통계량을 가정하는 것과 달리, DynaMark는 시스템 지식 없이도 시스템 측정값과 검출기 피드백을 이용하여 가우시안 워터마크의 공분산을 동적으로 조절하는 적응형 정책을 온라인으로 학습합니다. 제어 성능, 에너지 소비, 검출 신뢰도 간의 균형을 동적으로 조절하는 독특한 보상 함수를 최대화하며, 선형 시스템에 대한 실시간 검출 신뢰도를 위한 베이지안 신념 업데이트 메커니즘을 개발했습니다. Siemens Sinumerik 828D 컨트롤러 디지털 트윈과 실제 스테퍼 모터 시험대를 통해 기존 방법 대비 워터마크 에너지를 70% 감소시키면서도 명목 궤적을 유지하고, 평균 검출 지연 시간을 샘플링 간격 1회 수준으로 유지함을 검증했습니다.
