This page organizes papers related to artificial intelligence published around the world. This page is summarized using Google Gemini and is operated on a non-profit basis. The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.
A Gray-box Attack against Latent Diffusion Model-based Image Editing by Posterior Collapse
Created by
Haebom
Category
Empty
저자
Zhongliang Guo, Chun Tong Lei, Lei Fang, Shuai Zhao, Yifei Qian, Jingyu Lin, Zeyu Wang, Cunjian Chen, Ognjen Arandjelovic, Chun Pong Lau
Posterior Collapse Attack: Protecting Images from Unauthorized Manipulation
개요
본 논문은 Latent Diffusion Model (LDM)의 이미지 합성 및 조작의 발전에 따른 데이터 오용 및 지적 재산권 침해 문제를 해결하기 위해, VAE 훈련에서 관찰된 Posterior Collapse 현상에 착안하여 이미지 무단 조작을 방지하는 새로운 프레임워크인 Posterior Collapse Attack (PCA)를 제안한다. PCA는 LDM의 4% 미만을 차지하는 VAE 인코더에만 접근하여 모델 특정 지식 의존도를 줄이고, 텍스트 컨디셔닝 전에 VAE 인코더에서 작동하여 프롬프트 불변의 보호 기능을 제공한다. PCA는 diffusion collapse와 concentration collapse를 달성할 수 있는 통합 손실 함수를 사용하여 이미지 편집을 효과적으로 방지한다.
시사점, 한계점
•
모델 특정 지식 의존도를 줄여 다양한 LDM 아키텍처에서 효과적인 보호 기능을 제공한다.
•
프롬프트 불변 보호 기능을 통해 기존 방법의 빈 프롬프트 최적화 필요성을 제거한다.
•
보호 효과, 계산 효율성 (실행 시간 및 VRAM), VAE 기반 LDM 변형 간의 일반화에서 기존 기술보다 우수하다.
