Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LLM Safeguard is a Double-Edged Sword: Exploiting False Positives for Denial-of-Service Attacks

Created by
  • Haebom

저자

Qingzhao Zhang, Ziyang Xiong, Z. Morley Mao

개요

본 논문은 대규모 언어 모델(LLM)의 안전성을 강화하기 위한 보호 메커니즘의 허점을 악용하는 공격에 대한 연구를 다룬다. 기존 연구는 주로 보호 메커니즘의 오류(false negatives)를 악용하는 공격에 초점을 맞춰왔지만, 본 논문은 보호 메커니즘의 과잉 반응(false positives)을 악용하여 서비스 거부(DoS) 공격을 유발하는 새로운 공격 방법을 제시한다. 이는 악성 사용자가 안전한 콘텐츠를 잘못 차단하도록 보호 모델을 속여 LLM 사용자에게 서비스 거부를 일으키는 방식이다. 논문에서는 적대적 프롬프트 삽입 및 중독된 미세 조정을 통한 서버 측 LLM 손상 등 여러 공격 방법을 탐구하고, 실험을 통해 이러한 공격의 심각성을 보여준다. 예를 들어, 백색 상자 공격에서 약 30자 길이의 적대적 프롬프트를 생성하여 Llama Guard 3에서 97% 이상의 사용자 요청을 차단하는 데 성공했다.

시사점, 한계점

•
시사점:
◦
LLM 보호 메커니즘의 과잉 반응(false positives)을 악용한 새로운 유형의 공격 가능성을 제시한다.
◦
LLM 안전성 평가에 있어 적대적 공격에 대한 강건성(robustness to false positives)을 고려해야 함을 강조한다.
◦
적대적 프롬프트 공격의 효율성을 보여주며, LLM 보안 강화에 대한 새로운 연구 방향을 제시한다.
•
한계점:
◦
특정 보호 메커니즘(Llama Guard 3)에 대한 평가 결과를 바탕으로 일반화하기 어려울 수 있다.
◦
다양한 LLM과 보호 메커니즘에 대한 광범위한 실험이 필요하다.
◦
제시된 공격 방법에 대한 방어 기법에 대한 연구가 부족하다.
👍
Made with Slashpage