Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Mutual Information Guided Backdoor Mitigation for Pre-trained Encoders

Created by
  • Haebom

저자

Tingxu Han, Weisong Sun, Ziqi Ding, Chunrong Fang, Hanwei Qian, Jiaxun Li, Zhenyu Chen, Xiangyu Zhang

개요

Self-supervised learning(SSL)으로 사전 훈련된 인코더는 백도어 공격에 취약하다. 본 논문은 사전 훈련된 인코더에 대한 백도어 공격을 완화하기 위해 상호 정보 기반 백도어 완화 기술인 MIMIC을 제안한다. MIMIC은 잠재적으로 백도어가 있는 인코더를 교사 네트워크로 간주하고 지식 증류를 사용하여 깨끗한 학생 인코더를 교사 네트워크에서 증류한다. MIMIC은 교사 네트워크의 양성 지식이 있는 위치를 파악하기 위해 각 레이어와 추출된 특징 사이의 상호 정보를 활용하여 증류를 수행한다.

시사점, 한계점

MIMIC은 사전 훈련된 인코더에 대한 백도어 공격을 효과적으로 완화한다.
MIMIC은 소량의 깨끗한 데이터를 사용하여 기존 기법보다 우수한 성능을 보인다.
본 논문은 상호 정보를 활용하여 백도어 완화 기술을 개발했다.
논문의 한계점은 구체적으로 언급되지 않았다.
👍