Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

`Do as I say not as I do': A Semi-Automated Approach for Jailbreak Prompt Attack against Multimodal LLMs

Created by
  • Haebom

저자

Chun Wai Chiu, Linghan Huang, Bo Li, Huaming Chen, Kim-Kwang Raymond Choo

개요

본 논문은 다양한 입력 데이터(텍스트, 오디오, 이미지, 비디오)를 처리하는 능력이 향상된 대규모 언어 모델(LLM)이 프롬프트 기반 공격에 취약하다는 점을 지적하며, 최초의 음성 기반 멀티모달 LLM 공격인 Flanking Attack을 제안합니다. Flanking Attack은 다양한 입력 유형을 동시에 처리하여 멀티모달 LLM의 방어 메커니즘을 우회합니다. 금지된 프롬프트를 무해한 서술형 프롬프트로 둘러싸는 전략을 사용하며, 공격 성공률을 평가하기 위한 반자동화된 정책 위반 감지 프레임워크를 제시합니다. 실험 결과, Flanking Attack은 최첨단 LLM을 조작하여 허용되지 않은 출력을 생성하며, 7가지 금지 시나리오에서 평균 0.67~0.93의 성공률을 달성했습니다.

시사점, 한계점

시사점:
멀티모달 LLM의 새로운 취약점인 음성 기반 공격 가능성을 제시합니다.
기존 텍스트 기반 공격을 넘어서는, 더욱 정교한 공격 방법을 보여줍니다.
멀티모달 LLM의 안전성 및 신뢰성에 대한 우려를 제기하며, 향상된 방어 메커니즘 개발의 필요성을 강조합니다.
반자동화된 정책 위반 감지 프레임워크는 향후 LLM 보안 연구에 유용한 도구가 될 수 있습니다.
한계점:
제시된 공격 기법이 특정 LLM 및 설정에만 적용 가능할 수 있습니다.
평가에 사용된 금지 시나리오의 범위가 제한적일 수 있습니다.
완전 자동화된 평가 시스템이 아닌 반자동화 시스템을 사용하여 평가의 객관성에 대한 우려가 존재할 수 있습니다.
향후 더욱 강력하고 다양한 방어 메커니즘이 개발될 경우 공격의 효과가 감소할 가능성이 있습니다.
👍