MM-PoisonRAG: Disrupting Multimodal RAG with Local and Global Poisoning Attacks
Created by
Haebom
저자
Hyeonjeong Ha, Qiusi Zhan, Jeonghwan Kim, Dimitrios Bralios, Saikrishna Sanniboina, Nanyun Peng, Kai-Wei Chang, Daniel Kang, Heng Ji
개요
본 논문은 Retrieval Augmented Generation (RAG)을 활용하는 다중 모달 대규모 언어 모델(MLLM)의 질문응답과 같은 작업에서의 우수성을 다룹니다. RAG는 쿼리와 관련된 외부 지식을 기반으로 응답을 생성하여 MLLM을 향상시키지만, 이러한 의존성은 중요하지만 아직 충분히 연구되지 않은 안전 위험, 즉 잘못된 정보나 무관한 지식을 외부 지식 기반에 의도적으로 주입하여 모델 출력을 잘못되거나 심지어 유해하게 조작하는 지식 중독 공격을 야기합니다. 이러한 취약성을 노출하기 위해, 연구자들은 두 가지 공격 전략, 즉 쿼리 특정 오류 정보를 텍스트와 이미지에 주입하여 표적 조작을 수행하는 국소적 중독 공격(LPA)과 모든 쿼리에 걸쳐 비논리적인 응답을 유도하기 위해 MLLM 생성 중에 잘못된 지침을 제공하는 전역적 중독 공격(GPA)을 갖춘 새로운 지식 중독 공격 프레임워크인 MM-PoisonRAG를 제안합니다. 다양한 작업, 모델 및 접근 설정에서 공격을 평가하여 LPA가 MLLM을 조작하여 공격자가 제어하는 답변을 생성하는 데 성공했으며, MultiModalQA에서 최대 56%의 성공률을 달성했음을 보여줍니다. 또한 GPA는 단 하나의 무관한 지식 주입만으로 모델 생성을 0%의 정확도로 완전히 방해합니다. 이러한 결과는 다중 모달 RAG 프레임워크를 보호하기 위해 지식 중독에 대한 강력한 방어의 긴급한 필요성을 강조합니다.
