본 논문은 대규모 언어 모델(LLM)의 유해한 오용 가능성에 대한 우려를 해결하기 위해, 다국어 및 다양한 모달리티(언어, 이미지, 오디오)에 걸쳐 유해한 프롬프트를 감지하는 새로운 접근 방식인 OMNIGUARD를 제안합니다. OMNIGUARD는 LLM/MLLM의 내부 표현 중 언어 또는 모달리티 간에 일치하는 부분을 식별하고, 이를 사용하여 유해한 프롬프트를 감지하는 언어 또는 모달리티에 독립적인 분류기를 구축합니다. 다국어 환경에서 기존 최고 성능(SOTA) 방법보다 11.57% 향상된 정확도를, 이미지 기반 프롬프트에서는 20.44% 향상된 정확도를 달성하며, 오디오 기반 프롬프트에 대한 새로운 SOTA를 제시합니다. 또한 생성 과정에서 계산된 임베딩을 재사용하여 매우 효율적입니다(가장 빠른 기존 방법보다 약 120배 빠름). 코드와 데이터는 GitHub에서 공개됩니다.
