본 논문은 텍스트-이미지 확산 모델의 확장인 ControlNet에 숨겨진 백도어를 심는 모델-포이즈닝 공격을 소개합니다. 이 공격은 텍스트 프롬프트 없이 시각적 트리거에 노출되었을 때 공격자가 지정한 콘텐츠를 생성하도록 합니다. 연구 결과에 따르면, 미세 조정 데이터의 1%만 포이즈닝해도 90-98%의 공격 성공률을 보이며, 5%는 백도어를 더욱 강화합니다. 또한, 정상적인 이미지 생성 품질은 유지됩니다. 이러한 위험을 완화하기 위해 확산 백본을 고정하고, 낮은 학습률로 정제된 데이터셋에서 ControlNet만 미세 조정하는 Clean Fine-tuning(CFT) 기법을 제안합니다. CFT는 공격 성공률을 낮추는 효과를 보입니다.
