Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

When AI Meets the Web: Prompt Injection Risks in Third-Party AI Chatbot Plugins

Created by
  • Haebom
Category
Empty

저자

Yigitcan Kaya, Anton Landerer, Stijn Pletinckx, Michelle Zimmermann, Christopher Kruegel, Giovanni Vigna

Prompt Injection 취약점 연구: 10,000개 이상의 웹사이트에서 사용되는 제3자 챗봇 플러그인 분석

개요

본 논문은 고객 서비스 챗봇과 같이 널리 사용되는 단순한 LLM 애플리케이션의 보안 취약점에 대한 연구를 제시한다. 특히 10,000개 이상의 웹사이트에서 사용되는 17개의 제3자 챗봇 플러그인을 대상으로 대규모 조사를 수행하여, 프롬프트 주입 공격의 위험성을 분석했다.

시사점, 한계점

8개의 플러그인은 웹사이트 방문자와 챗봇 간의 네트워크 요청에서 대화 기록의 무결성을 보장하지 못하여, 공격자가 가짜 시스템 메시지를 포함한 대화 기록을 위조하여 공격 성공률을 높일 수 있음.
15개의 플러그인은 웹 스크래핑과 같은 도구를 사용하여 챗봇의 컨텍스트를 웹사이트 특정 콘텐츠로 풍부하게 하지만, 신뢰할 수 있는 콘텐츠와 신뢰할 수 없는 제3자 콘텐츠를 구분하지 못해 간접적인 프롬프트 주입 위험을 초래함.
~13%의 전자 상거래 웹사이트가 이미 챗봇을 제3자 콘텐츠에 노출하고 있는 것으로 나타남.
실제 관찰을 기반으로 한 실험을 통해 시스템 프롬프트 디자인 및 LLM에 따른 취약점을 평가함.
많은 플러그인이 LLM의 내장된 안전 장치를 약화시키는 안전하지 않은 관행을 채택하고 있음을 발견함.
👍