Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

PISanitizer: Preventing Prompt Injection to Long-Context LLMs via Prompt Sanitization

Created by
  • Haebom
Category
Empty

저자

Runpeng Geng, Yanting Wang, Chenlong Yin, Minhao Cheng, Ying Chen, Jinyuan Jia

개요

Long context LLM은 프롬프트 주입 공격에 취약하며, 기존 방어 기법은 긴 컨텍스트 환경에서 제한적인 효과를 보임. 본 논문에서는 프롬프트 주입 공격을 방어하기 위해 PISanitizer를 제안하며, LLM이 응답을 생성하기 전에 잠재적인 주입 토큰을 찾아 정화한다. PISanitizer는 LLM의 어텐션 메커니즘을 활용하여, LLM의 instruction-following 행동을 유발하는 고 어텐션 토큰을 정화하는 방식으로 공격에 대응한다.

시사점, 한계점

시사점:
긴 컨텍스트 LLM의 프롬프트 주입 공격 방어에 효과적인 새로운 방법론 제시.
LLM의 어텐션 메커니즘을 활용하여 주입된 토큰을 효과적으로 식별하고 정화.
기존 방어 기법보다 우수한 성능을 보이며, 효율적이고 강력한 공격에 대한 방어력을 갖춤.
최적화 기반 및 강력한 적응형 공격에 대한 강건성 입증.
한계점:
논문 자체에서 한계점에 대한 언급은 없음.
👍