본 논문은 대규모 언어 모델(LLM) 애플리케이션의 시스템 프롬프트 유출 공격에 대한 새로운 프레임워크인 PLeak을 제안합니다. 기존의 수동으로 생성된 질의에 의존하는 공격과 달리, PLeak은 적대적 질의를 최적화하여 LLM 애플리케이션의 응답을 통해 시스템 프롬프트를 유출하는 것을 목표로 합니다. 이는 시스템 프롬프트의 토큰을 단계적으로 최적화하는 경사 기반 방법을 사용하여 이루어집니다. Poe와 같은 실제 LLM 애플리케이션을 대상으로 한 실험 결과, PLeak은 기존 방법보다 훨씬 효과적으로 시스템 프롬프트를 유출함을 보여줍니다. 연구진은 Poe에 문제를 보고했으며 현재 응답을 기다리고 있습니다. 구현 코드는 공개 저장소에 공개되어 있습니다.
