Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CompressionAttack: Exploiting Prompt Compression as a New Attack Surface in LLM-Powered Agents

Created by
  • Haebom
Category
Empty

저자

Zesen Liu, Zhixiang Zhang, Yuchong Xie, Dongdong She

개요

LLM 기반 에이전트는 추론 비용을 줄이기 위해 프롬프트 압축을 사용하는 경우가 많지만, 이는 새로운 보안 위험을 야기한다. 안전보다는 효율성을 위해 최적화된 압축 모듈은 적대적 입력을 통해 조작될 수 있으며, 이로 인해 의미적 드리프트가 발생하고 LLM 동작이 변경될 수 있다. 본 연구는 프롬프트 압축을 새로운 공격 표면으로 식별하고 이를 악용하는 최초의 프레임워크인 CompressionAttack을 제시한다. CompressionAttack은 하드 압축을 위한 개별 적대적 편집을 사용하는 HardCom과 소프트 압축을 위한 잠재 공간 교란을 수행하는 SoftCom의 두 가지 전략을 포함한다. 여러 LLM에 대한 실험 결과 최대 80%의 공격 성공률과 98%의 선호도 변화가 나타났으며, 동시에 높은 은밀성과 전이성을 유지했다. VSCode Cline 및 Ollama의 사례 연구를 통해 실제 영향력이 확인되었으며, 현재의 방어는 효과가 없는 것으로 나타나 보다 강력한 보호의 필요성을 강조한다.

시사점, 한계점

시사점:
프롬프트 압축이 LLM 기반 에이전트의 새로운 공격 표면임을 발견.
CompressionAttack 프레임워크를 통해 프롬프트 압축 취약점을 공격하는 방법을 제시.
HardCom 및 SoftCom 공격 전략의 효과를 입증.
다양한 LLM 및 실제 환경에서의 공격 성공 사례를 보여줌.
현재 방어 기법의 무력함을 지적하며, 강화된 보호의 필요성을 강조.
한계점:
특정 LLM 및 환경에 대한 실험 결과에 국한될 수 있음.
구체적인 공격 방어 전략 제시 부족.
압축 알고리즘의 종류와 세부 설정에 따른 공격 성공률 변화에 대한 추가 연구 필요.
👍