Edoardo Debenedetti, Ilia Shumailov, Tianqi Fan, Jamie Hayes, Nicholas Carlini, Daniel Fabian, Christoph Kern, Chongyang Shi, Andreas Terzis, Florian Tramer
개요
본 논문은 신뢰할 수 없는 환경과 상호 작용하는 에이전트 시스템에 점점 더 많이 배포되는 대규모 언어 모델(LLM)의 프롬프트 삽입 공격 취약성 문제를 해결하기 위해, LLM 주변에 보호 시스템 계층을 생성하여 기본 모델이 공격에 취약하더라도 보안을 유지하는 강력한 방어 메커니즘인 CaMeL을 제안한다. CaMeL은 신뢰할 수 있는 쿼리에서 제어 및 데이터 흐름을 명시적으로 추출하여 LLM이 검색한 신뢰할 수 없는 데이터가 프로그램 흐름에 영향을 미치지 못하도록 한다. 또한, 도구가 호출될 때 보안 정책을 적용하여 무단 데이터 흐름을 통한 개인 데이터 유출을 방지하기 위해 기능 개념을 사용한다. AgentDojo에서 증명 가능한 보안으로 작업의 77%를 해결(방어되지 않은 시스템의 경우 84%)하여 CaMeL의 효과를 보여준다. 소스 코드는 https://github.com/google-research/camel-prompt-injection 에서 공개한다.
시사점: 신뢰할 수 없는 데이터를 처리하는 LLM 에이전트의 프롬프트 삽입 공격에 대한 효과적인 방어 메커니즘을 제시한다. CaMeL은 프로그램 흐름 제어와 데이터 유출 방지를 통해 LLM 보안을 강화한다.
•
한계점: 방어되지 않은 시스템(84%)에 비해 CaMeL을 사용한 시스템(77%)의 작업 성공률이 다소 낮다. AgentDojo 환경에서의 성능 평가 결과이므로 다른 환경에서의 일반화 가능성에 대한 추가 연구가 필요하다. 모든 종류의 프롬프트 삽입 공격에 대한 완벽한 방어를 보장하지는 않는다.
