Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SAUCE: Selective Concept Unlearning in Vision-Language Models with Sparse Autoencoders

Created by
  • Haebom
Category
Empty

저자

Qing Li, Jiahui Geng, Derui Zhu, Fengyu Cai, Chenyang Lyu, Fakhri Karray

개요

SAUCE는 시각-언어 모델(VLMs)에서 세밀하고 선택적인 개념 제거를 위해 희소 자동 인코더(SAEs)를 활용하는 새로운 방법입니다. SAUCE는 고차원의 의미 풍부한 희소 특징을 포착하도록 SAE를 훈련하고, 제거 대상 개념과 가장 관련된 특징을 식별합니다. 추론 과정에서 이러한 특징을 선택적으로 수정하여 특정 개념을 억제하면서 관련 없는 정보는 보존합니다. LLaVA-v1.5-7B와 LLaMA-3.2-11B-Vision-Instruct 두 VLMs에 대해 구체적인 개념(물체, 스포츠 장면)과 추상적인 개념(감정, 색상, 재료) 제거를 포함한 총 60개의 개념에 대한 실험을 통해 기존 최첨단 방법보다 18.04% 향상된 제거 성능을 보이며, 모델 유용성은 유지함을 보여줍니다. 또한, 다양한 적대적 공격에 대한 강건성, 모델 간 전이성, 여러 개의 동시 제거 요청 처리에 대한 확장성도 조사합니다.

시사점, 한계점

•
시사점:
◦
VLMs에서 세밀하고 선택적인 개념 제거를 위한 효과적이고 확장 가능한 솔루션을 제공합니다.
◦
기존 방법보다 18.04% 향상된 제거 성능을 보입니다.
◦
모델 유용성을 유지하면서 개념 제거를 수행합니다.
◦
적대적 공격에 대한 강건성, 모델 간 전이성, 여러 개의 동시 제거 요청 처리에 대한 확장성을 갖습니다.
•
한계점:
◦
본 논문에서는 구체적인 한계점이 명시적으로 언급되지 않았습니다. 추가적인 실험이나 분석을 통해 한계점을 밝힐 필요가 있습니다. (예: 특정 유형의 개념 제거에 대한 성능 저하, SAE 훈련의 계산 비용, 대규모 VLMs에 대한 적용 가능성 등)
👍
Made with Slashpage