When AI Meets the Web: Prompt Injection Risks in Third-Party AI Chatbot Plugins
Created by
Haebom
Category
Empty
저자
Yigitcan Kaya, Anton Landerer, Stijn Pletinckx, Michelle Zimmermann, Christopher Kruegel, Giovanni Vigna
Prompt Injection 취약점 연구: 10,000개 이상의 웹사이트에서 사용되는 제3자 챗봇 플러그인 분석
개요
본 논문은 고객 서비스 챗봇과 같이 널리 사용되는 단순한 LLM 애플리케이션의 보안 취약점에 대한 연구를 제시한다. 특히 10,000개 이상의 웹사이트에서 사용되는 17개의 제3자 챗봇 플러그인을 대상으로 대규모 조사를 수행하여, 프롬프트 주입 공격의 위험성을 분석했다.
시사점, 한계점
•
8개의 플러그인은 웹사이트 방문자와 챗봇 간의 네트워크 요청에서 대화 기록의 무결성을 보장하지 못하여, 공격자가 가짜 시스템 메시지를 포함한 대화 기록을 위조하여 공격 성공률을 높일 수 있음.
•
15개의 플러그인은 웹 스크래핑과 같은 도구를 사용하여 챗봇의 컨텍스트를 웹사이트 특정 콘텐츠로 풍부하게 하지만, 신뢰할 수 있는 콘텐츠와 신뢰할 수 없는 제3자 콘텐츠를 구분하지 못해 간접적인 프롬프트 주입 위험을 초래함.
•
~13%의 전자 상거래 웹사이트가 이미 챗봇을 제3자 콘텐츠에 노출하고 있는 것으로 나타남.
•
실제 관찰을 기반으로 한 실험을 통해 시스템 프롬프트 디자인 및 LLM에 따른 취약점을 평가함.
•
많은 플러그인이 LLM의 내장된 안전 장치를 약화시키는 안전하지 않은 관행을 채택하고 있음을 발견함.