Sign In

Semantic Surgery: Zero-Shot Concept Erasure in Diffusion Models

Created by
  • Haebom
Category
Empty

저자

Lexiang Xiong, Chengyu Liu, Jingwen Ye, Yan Liu, Yuecong Xu

개요

본 논문은 텍스트-이미지 확산 모델에서 유해 콘텐츠를 완화하기 위한 개념 삭제 기법인 Semantic Surgery를 소개합니다. Semantic Surgery는 훈련 없이 텍스트 임베딩에 직접 작용하여 생성 품질을 저하시키지 않으면서, 개념 삭제의 완전성, 국소성, 그리고 견고성을 향상시키는 것을 목표로 합니다. Co-Occurrence Encoding 모듈과 시각적 피드백 루프를 통해 다중 개념 삭제 및 잠재적 개념 지속성 문제를 해결하며, 프롬프트에 동적으로 적응하여 정밀한 개입을 가능하게 합니다.

시사점, 한계점

•
시사점:
◦
훈련이 필요 없는 제로샷 프레임워크로, 텍스트 임베딩 단계에서 개념 삭제를 수행합니다.
◦
개념 삭제의 완전성, 국소성, 견고성을 향상시키며, 이미지 품질 저하가 적습니다.
◦
객체, 명시적 콘텐츠, 예술적 스타일, 다중 유명인 삭제 작업에서 기존 방법보다 우수한 성능을 보입니다.
◦
위협 감지 시스템으로도 활용 가능하여 안전한 텍스트-이미지 생성을 위한 실용적인 솔루션을 제공합니다.
•
한계점:
◦
논문에서 구체적인 한계점이 명시적으로 언급되지 않았습니다.
👍
Made with Slashpage