본 논문은 다양한 분야에서 널리 사용되지만 적대적 프롬프트 주입에 취약한 대규모 언어 모델(LLM)의 문제점을 다룹니다. 기존 연구가 주로 오픈소스 모델에 집중한 것과 달리, 본 연구는 다국어 공격 시나리오 하에서 폐쇄형 LLM을 조사합니다. GPT-4o, DeepSeek-R1, Gemini-1.5-Pro, Qwen-Max를 포함한 최첨단 독점 솔루션을 체계적으로 평가하기 위해 다양한 공격 기법을 활용하는 최초의 통합 적대적 프레임워크를 제시합니다. 영어와 중국어로 6가지 보안 콘텐츠 범주에 걸쳐 32가지 유형의 탈옥 공격을 생성하여 38,400개의 응답을 생성하고, 공격 성공률(ASR)을 정량적 지표로 사용하여 프롬프트 설계, 모델 아키텍처, 언어 환경 세 가지 측면에서 성능을 평가합니다. 그 결과 Qwen-Max가 가장 취약하고 GPT-4o가 가장 강력한 방어력을 보이는 것으로 나타났습니다. 특히 중국어 프롬프트가 영어 프롬프트보다 ASR이 지속적으로 높았으며, 새로운 Two-Sides 공격 기법이 모든 모델에서 가장 효과적인 것으로 나타났습니다. 이 연구는 LLM에서 언어 인식 정렬 및 강력한 교차 언어 방어의 필요성을 강조하며, 보다 강력하고 포괄적인 AI 시스템을 향한 연구자, 개발자 및 정책 입안자에게 영감을 줄 것으로 기대됩니다.
