Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Speech-Audio Compositional Attacks on Multimodal LLMs and Their Mitigation with SALMONN-Guard

Created by
  • Haebom
Category
Empty

저자

Yudong Yang, Xuezhen Zhang, Zhifeng Han, Siyin Wang, Jimin Zhuang, Zengrui Jin, Jing Shao, Guangzhi Sun, Chao Zhang

개요

대규모 언어 모델(LLM)의 음성 및 비음성 오디오 이해 능력 발전으로 복잡한 오디오 기반 공격에 대한 안전성 위험이 대두됨. SACRED-Bench를 도입하여 복잡한 오디오 기반 공격에 대한 LLM의 견고성을 평가. SACRED-Bench는 음성-오디오 구성 메커니즘을 활용하여 유해한 프롬프트를 숨기거나, 비음성 오디오와 함께 안전하지 않은 의도를 암시하며, 다양한 음성 지침 형식을 사용. 실험 결과, 최첨단 LLM인 Gemini 2.5 Pro도 SACRED-Bench 테스트 세트에서 66%의 공격 성공률을 보임. 이러한 취약점을 해결하기 위해 음성, 오디오 및 텍스트를 함께 검사하는 안전 장치 LLM인 SALMONN-Guard를 제안하여 공격 성공률을 20%까지 감소시킴.

시사점, 한계점

•
시사점:
◦
복잡한 오디오 기반 공격에 대한 LLM의 취약성 입증.
◦
음성-오디오 구성 공격에 대한 새로운 벤치마크 SACRED-Bench 제시.
◦
안전 장치 LLM인 SALMONN-Guard를 통해 공격 성공률 감소 효과 확인.
◦
멀티 모달 LLM의 안전성을 위한 오디오 인식 방어의 필요성 강조.
•
한계점:
◦
논문 내에서 구체적인 공격 방식에 대한 상세 설명 부족 가능성.
◦
제안된 SALMONN-Guard의 일반화된 성능 검증 필요.
◦
다른 LLM 모델에 대한 SACRED-Bench의 효과 검증 필요.
◦
잠재적으로 유해하거나 공격적인 예시 포함.
👍
Made with Slashpage