On the Vulnerability of Concept Erasure in Diffusion Models
작성자
- Haebom
카테고리
비어 있음
저자
Lucas Beerens, Alex D. Richardson, Kaicheng Zhang, Dongdong Chen
개요
텍스트-이미지 확산 모델의 확산으로 저작권 침해 또는 유해 이미지 생성과 관련된 심각한 개인 정보 및 보안 문제가 제기되었습니다. 이러한 문제를 해결하기 위해 머신 언러닝에 대한 연구는 사후 학습을 통해 원치 않는 데이터의 영향을 제거하는 것을 목표로 하는 다양한 개념 삭제 방법을 개발했습니다. 하지만 본 논문에서는 이러한 삭제 기법이 취약하여, 적대적으로 제작된 프롬프트를 사용하여 삭제된 개념의 이미지를 여전히 생성할 수 있음을 보여줍니다. 본 논문에서는 삭제된 콘텐츠의 생성을 유도할 수 있는 프롬프트를 발견하는 좌표 하강 기반 알고리즘인 RECORD를 소개합니다. RECORD가 기존 최첨단 공격 방법의 공격 성공률을 상당히 능가함을 보여줍니다. 또한, 개념 삭제를 적용받은 모델이 이전에 예상했던 것보다 적대적 공격에 더 취약하다는 것을 밝혀냄으로써 더욱 강력한 언러닝 접근 방식의 필요성을 강조합니다. 소스 코드는 https://github.com/LucasBeerens/RECORD 에서 공개합니다.
시사점, 한계점
•
시사점: 기존의 개념 삭제 기법의 취약성을 밝히고, 더욱 강력한 언러닝 기법의 필요성을 강조합니다. RECORD 알고리즘을 통해 기존 최첨단 공격 방법보다 더 효과적으로 삭제된 콘텐츠를 생성할 수 있음을 보여줍니다.
•
한계점: RECORD 알고리즘의 효과는 특정 텍스트-이미지 확산 모델과 개념 삭제 기법에 국한될 수 있습니다. 다양한 모델과 삭제 기법에 대한 추가적인 연구가 필요합니다. 또한, RECORD 자체가 새로운 공격 방법으로 악용될 가능성도 고려해야 합니다.
