Sign In

CompressionAttack: Exploiting Prompt Compression as a New Attack Surface in LLM-Powered Agents

Created by
  • Haebom
Category
Empty

저자

Zesen Liu, Zhixiang Zhang, Yuchong Xie, Dongdong She

개요

LLM 기반 에이전트의 추론 비용을 줄이기 위해 프롬프트 압축을 사용하는 과정에서 안전성 문제가 발생할 수 있음을 지적합니다. 특히, 효율성을 위해 최적화된 압축 모듈이 적대적 입력에 의해 조작될 수 있으며, 이는 의미론적 변화와 LLM 동작의 변경을 초래합니다. 본 연구는 프롬프트 압축을 새로운 공격 표면으로 식별하고, 이를 악용하는 최초의 프레임워크인 CompressionAttack을 제시합니다. CompressionAttack은 HardCom(이산 적대적 편집) 및 SoftCom(잠재 공간 교란)의 두 가지 전략을 포함하며, 다양한 LLM에 대한 실험에서 높은 공격 성공률(최대 80%)과 선호도 변화(최대 98%)를 보였습니다. 또한, VSCode Cline 및 Ollama에서의 사례 연구를 통해 실제 영향력을 확인했으며, 현재 방어 기법이 효과적이지 않음을 보여줍니다.

시사점, 한계점

시사점:
LLM 기반 에이전트의 프롬프트 압축 과정에서 발생하는 새로운 보안 위협 제시 (CompressionAttack 프레임워크 제안).
HardCom 및 SoftCom의 두 가지 공격 전략 제시.
높은 공격 성공률과 은밀성, 그리고 전이 가능성 입증.
실제 환경에서의 공격 영향력 확인 (VSCode Cline, Ollama 사례 연구).
현재 방어 기법의 무력함을 지적하며, 강력한 보안 대책의 필요성 강조.
한계점:
논문에 제시된 구체적인 방어 기법에 대한 언급 부재.
제안된 공격의 일반화 가능성 및 다른 LLM 모델에 대한 적용 범위에 대한 추가 연구 필요.
공격의 장기적인 영향 및 잠재적 피해 규모에 대한 추가 분석 필요.
👍