본 논문은 대규모 언어 모델(LLM)의 프롬프트 인젝션 공격에 대한 기존 방어 기법들의 평가 방법론에 대한 문제점을 지적하고, 보다 엄격한 평가 기준을 제시합니다. 기존 연구들은 방어 기법의 효과성을 제대로 평가하지 못했다는 주장 하에, 다양한 프롬프트와 적응형 공격을 포함하는 광범위한 평가와, LLM의 기본 기능 저하 여부를 고려하는 일반적인 유용성 평가를 통합한 두 가지 중요한 차원에서 방어 기법을 평가해야 함을 강조합니다. 결과적으로 기존 연구에서 보고된 것과 달리, 기존 방어 기법들은 이러한 엄격한 평가 기준을 적용했을 때 성공적이지 못함을 보여줍니다. 본 논문은 향후 방어 기법의 평가 및 개발을 위한 기초를 제공하며, 관련 코드와 데이터는 공개적으로 제공합니다.
