본 논문은 오디오 언어 모델(ALMs)의 보안 취약성을 평가하기 위한 최초의 종합적인 벤치마크인 JALMBench를 제시합니다. 기존의 대규모 언어 모델(LLMs)에 대한 탈옥 공격 연구는 활발하지만, 오디오 모달리티를 사용하는 ALMs에 대한 연구는 부족한 상황입니다. JALMBench는 2,200개의 텍스트 샘플과 51,381개의 오디오 샘플(268시간 이상)을 포함하는 데이터셋과 12개의 주요 ALMs, 4개의 텍스트 변환 및 4개의 오디오 기원 공격 방법, 그리고 5개의 방어 방법을 지원합니다. 본 논문은 JALMBench를 사용하여 공격 효율성, 주제 민감도, 음성 다양성, 공격 표현 등을 심층 분석하고, 프롬프트 및 응답 수준에서의 완화 전략을 탐구합니다.
시사점, 한계점
•
시사점:
◦
오디오 언어 모델(ALMs)의 보안 취약성 평가를 위한 최초의 종합적인 벤치마크인 JALMBench를 제공합니다.
◦
다양한 ALMs, 공격 방법, 방어 방법에 대한 광범위한 비교 분석을 가능하게 합니다.
◦
ALMs에 대한 탈옥 공격의 효율성, 주제 민감도, 음성 다양성 등을 심층적으로 분석합니다.
◦
프롬프트 및 응답 수준에서의 공격 완화 전략을 제시합니다.
•
한계점:
◦
현재 벤치마크에 포함된 ALMs, 공격 방법, 방어 방법의 종류가 제한적일 수 있습니다. 향후 더 많은 모델과 기법을 포함하여 확장될 필요가 있습니다.
