Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning
Created by
Haebom
Category
Empty
저자
Qiusi Zhan, Hyeonjeong Ha, Rui Yang, Sirui Xu, Hanyang Chen, Liang-Yan Gui, Yu-Xiong Wang, Huan Zhang, Heng Ji, Daniel Kang
개요
MLLM 기반의 에이전트에서 시각적 백도어 공격의 새로운 공격 표면을 발견하고, 환경 내 객체를 트리거로 사용하는 BEAT 프레임워크를 제시합니다. 이 프레임워크는 다양한 시나리오와 트리거 배치에 대한 훈련 세트 구축, 그리고 SFT와 CTL을 결합한 2단계 훈련 방식을 통해 시각적 백도어 공격 성공률을 최대 80%까지 달성합니다.
시사점, 한계점
•
MLLM 기반 에이전트의 시각적 백도어 공격 가능성을 처음으로 입증.
•
객체 기반 트리거의 다양한 변동성을 극복하기 위한 BEAT 프레임워크 제시.
•
CTL을 통해 백도어 활성화 정확도 향상.
•
다양한 벤치마크에서 일반화 성능 입증.
•
제한된 백도어 데이터 환경에서 효과적인 공격 가능성 제시.
•
MLLM 기반 에이전트의 보안 취약성 문제를 제기하고, 실제 배포 전 방어 체계 구축의 필요성 강조.
