본 논문은 확산 모델의 개인화 기법이 특정 개념을 생성하는 데 성공하지만 저작권 보호와 불법 사용에 대한 위협을 제기한다는 점을 다룹니다. 저작권 침해를 방지하기 위해 모델 워터마킹이 효과적인 방법으로 제시되지만, 기존 워터마킹 방식은 모든 이미지에 워터마크를 추가하는 방식으로, 특정 개념에 대한 정교한 적용이 부족하고 개인화된 미세 조정을 통해 워터마크가 쉽게 제거될 수 있다는 한계점을 지닙니다. 따라서 본 논문에서는 확산 모델의 개념에 눈에 띄지 않는 워터마크를 매끄럽게 삽입하는 새로운 개념 중심 워터마킹 프레임워크를 제시합니다. 이를 위해 이미지 특징을 기반으로 잠재적 워터마크를 생성하는 Fidelity-preserving Latent Watermarking (FLW)과 개인화된 미세 조정을 통한 "탈옥"을 방지하는 Adversarial Watermarking Modulation 모듈을 제안합니다. 또한 제한된 샘플로 U-Net의 워터마크 패턴 학습 효율을 높이기 위해 워터마크 삽입과 개념 학습을 위한 모델 매개변수 최적화를 번갈아 수행하는 Efficient Concept Watermark Finetuning을 제안합니다. 광범위한 실험과 ablation study를 통해 프레임워크의 효과를 검증하였으며, 코드는 https://anonymous.4open.science/r/Conceptwm-4EB3/ 에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
개념 중심의 미세한 워터마킹을 통해 확산 모델의 개인화 기법으로 인한 저작권 침해 문제를 효과적으로 해결할 수 있는 새로운 프레임워크를 제시합니다.
◦
Fidelity-preserving Latent Watermarking (FLW) 및 Adversarial Watermarking Modulation 모듈을 통해 개인화된 미세 조정으로 인한 워터마크 제거를 방지합니다.
◦
Efficient Concept Watermark Finetuning을 통해 제한된 샘플로도 효율적인 워터마크 학습이 가능합니다.
