본 논문은 시각-언어 모델(VLMs)에서의 개념 삭제(unlearning) 문제를 해결하기 위해 새로운 방법인 SAUCE를 제안합니다. 기존의 VLM unlearning 방법들은 대규모 언어 모델(LLMs)의 기법을 차용하여 광범위한 주석이 달린 forget set을 필요로 하며, 개념 삭제를 조잡하게 수행하여 과도한 정보 손실과 모델 유용성 저하를 야기했습니다. SAUCE는 희소 자동 인코더(SAEs)를 활용하여 세밀하고 선택적인 개념 삭제를 수행합니다. SAEs를 통해 고차원의 의미 풍부한 희소 특징을 추출하고, 삭제 대상 개념과 가장 관련성이 높은 특징을 식별하여 추론 과정에서 해당 특징을 선택적으로 수정하여 특정 개념을 억제하면서 관련 없는 정보는 보존합니다. LLaVA-v1.5-7B와 LLaMA-3.2-11B-Vision-Instruct 두 VLMs와 구체적인 개념(사물, 스포츠 장면) 및 추상적인 개념(감정, 색깔, 재질) 총 60개의 개념을 대상으로 실험한 결과, 기존 최고 성능 방법보다 18.04% 향상된 삭제 품질을 달성하면서 모델 유용성은 유지했습니다. 또한, 다양한 적대적 공격에 대한 강건성, 모델 간 전이성, 그리고 여러 개념 동시 삭제 처리의 확장성을 검증했습니다.
