본 논문은 대규모 오디오 언어 모델(LAMs)의 안전성, 특히 탈옥 공격에 대한 취약성을 정량적으로 평가하기 위한 새로운 벤치마크인 AJailBench를 제시합니다. 텍스트 기반 탈옥 공격을 실제적인 음성으로 변환하여 생성된 1,495개의 적대적 오디오 프롬프트로 구성된 AJailBench-Base 데이터셋을 활용하여 여러 최첨단 LAM들을 평가한 결과, 어떤 모델도 일관된 안전성을 보이지 못함을 밝혔습니다. 더 나아가, 시간, 주파수, 진폭 영역에 걸쳐 표적 왜곡을 적용하는 오디오 섭동 툴킷(APT)을 제안하여 동적인 적대적 변형을 생성하고, 의미론적 일관성을 유지하면서 베이지안 최적화를 통해 미묘하면서도 효과적인 섭동을 찾아 AJailBench-APT 데이터셋을 확장했습니다. 결과적으로, 의미적으로 보존된 작은 섭동조차도 주요 LAM들의 안전성 성능을 크게 저하시킬 수 있음을 보여주어, 더욱 강력하고 의미론적으로 인지하는 방어 메커니즘의 필요성을 강조합니다.
시사점, 한계점
•
시사점:
◦
LAMs의 탈옥 공격에 대한 취약성을 정량적으로 평가하는 최초의 벤치마크인 AJailBench를 제시.
◦
최첨단 LAMs의 안전성에 대한 심각한 문제점을 밝힘.
◦
의미론적 일관성을 유지하는 적대적 샘플 생성 방법(APT)을 제안하여 더욱 현실적인 공격 시나리오를 모의.
◦
LAMs의 안전성 향상을 위한 더욱 강력하고 의미론적으로 인지하는 방어 메커니즘 개발 필요성 제기.
•
한계점:
◦
AJailBench-Base 데이터셋이 텍스트 기반 탈옥 공격을 변환하여 생성되었으므로, 실제 세계의 다양한 탈옥 공격을 완벽하게 반영하지 못할 수 있음.
