MMed-RAG 시스템의 취약점을 공격하는 Medusa라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 시각적 입력에 대한 적대적 공격을 통해 검색 프로세스를 하이재킹합니다. Medusa는 멀티 긍정 InfoNCE 손실(MPIL)을 사용하여 적대적 시각적 임베딩을 의학적으로 그럴듯하지만 악의적인 텍스트 대상과 정렬하여 공격을 수행합니다. 전이성을 향상시키기 위해 대리 모델 앙상블과 불변 위험 최소화(IRM)를 활용한 이중 루프 최적화 전략을 채택합니다. 실험 결과, Medusa는 두 가지 실제 의료 작업에서 다양한 생성 모델과 검색기에 걸쳐 90% 이상의 평균 공격 성공률을 달성했으며, 주류 방어 4가지에 대해 강건성을 보였습니다.
시사점, 한계점
•
시사점:
◦
MMed-RAG 시스템의 심각한 취약점을 발견하여, 안전이 중요한 의료 응용 분야에서 견고성 벤치마킹의 필요성을 강조함.
◦
Medusa는 적대적 공격을 통해 의료 보고서 생성 및 질병 진단과 같은 작업에서 MMed-RAG 시스템을 효과적으로 공격할 수 있음을 입증함.
◦
제안된 공격 방법은 다양한 생성 모델 및 검색기에 걸쳐 높은 공격 성공률을 보이며, 다양한 방어 메커니즘에도 강건성을 유지함.
