본 논문은 텍스트-이미지 확산 모델에서 시각적으로 불쾌하거나 유해한 콘텐츠 생성을 방지하기 위한 효과적인 방법으로 최근 등장한 개념 제거(Concept Erasing)에 대한 연구입니다. 기존의 개념 제거 방법들은 수동으로 작성된 텍스트 프롬프트에 크게 의존하여 높은 제거 효율(efficacy)을 달성하면서 다른 무해한 개념에 대한 영향(usability)을 최소화하는 데 어려움이 있었습니다. 본 논문에서는 이러한 한계점을 텍스트와 이미지 모달리티 간의 고유한 차이점으로 설명하고, 이를 해결하기 위해 시각적 지도를 직접적으로 제거 과정에 통합하는 새로운 텍스트-이미지 협업 개념 제거(Co-Erasing) 프레임워크를 제안합니다. Co-Erasing은 텍스트 프롬프트와 프롬프트에 의해 유도된 해당하는 바람직하지 않은 이미지를 통해 개념을 공동으로 설명하고, 음수 지도(negative guidance)를 통해 대상 개념의 생성 확률을 줄입니다. 이 방법은 텍스트와 이미지 간의 지식 차이를 효과적으로 해결하여 제거 효율을 크게 향상시킵니다. 또한, 특정 텍스트 개념과 가장 관련성이 높은 시각적 특징에 모델의 초점을 맞추도록 유도하는 텍스트 기반 이미지 개념 개선 전략을 설계하여 다른 무해한 개념에 대한 방해를 최소화합니다. 포괄적인 실험 결과, Co-Erasing은 효율과 사용성 간의 더 나은 절충점을 제공하며 최첨단 제거 방법보다 훨씬 우수한 성능을 보여줍니다. 코드는 https://github.com/Ferry-Li/Co-Erasing 에서 확인할 수 있습니다.
