The Illusion of Forgetting: Attack Unlearned Diffusion via Initial Latent Variable Optimization

Created by

Haebom

저자

Manyi Li, Yufan Liu, Lai Jiang, Bing Li, Yuming Li, Weiming Hu

💡 개요

텍스트-이미지 확산 모델(DMs)에서 발생하는 유해하거나 저작권이 있는 콘텐츠 생성 문제를 해결하기 위해 개념 삭제(unlearning) 기술이 제안되었지만, 기존 방법들은 '망각의 환상' 현상으로 인해 완전히 삭제되지 않는 지식을 내부에 잠재적으로 남기는 문제가 있습니다. 본 연구는 이 현상의 원인을 언어 기호와 내부 지식 간의 연결 끊김으로 설명하고, 노이즈 분포 불일치가 망각 강도를 나타내는 지표임을 밝혀냈습니다. 이를 바탕으로 초기 잠재 변수 최적화(IVO) 프레임워크를 제안하여, 망각된 모델의 노이즈 분포를 원본 모델과 유사하게 조정함으로써 잠재된 지식을 복원하고 기존 unlearning 방법들의 근본적인 취약점을 드러냅니다.

🔑 시사점 및 한계

•

현재의 개념 삭제(unlearning) 방법들은 언어적 기호와 내부 지식 간의 연결을 부분적으로만 끊어, 실제로는 지식이 완전히 삭제되지 않고 잠재적인 '망각의 환상' 상태에 있음을 시사합니다.

•

노이즈 분포의 불일치가 unlearning의 강도를 측정하는 유용한 지표가 될 수 있으며, 이를 역이용하여 unlearning된 모델에서 삭제되지 않은 지식을 복원할 수 있음을 보여줍니다.

•

제안된 IVO 프레임워크는 기존 unlearning 기술들의 취약점을 효과적으로 노출하며, 향후 더 견고한 unlearning 메커니즘 개발의 필요성을 강조합니다.

•

본 연구는 잠재된 지식을 복원하는 공격 기법을 제시하지만, 이를 악용한 유해 콘텐츠 생성 가능성에 대한 윤리적 고려와 함께, unlearning 과정에서 발생할 수 있는 모든 잠재적 위험을 완전히 해결하기 위한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage