본 논문은 프롬프트 주입 공격에 대응하기 위한 대규모 언어 모델(LLM)의 새로운 자기 인식 방어 메커니즘을 제시합니다. 외부 분류기에 의존하는 기존 방식과 달리, 이 방법은 LLM의 고유한 추론 능력을 활용하여 자체적으로 보호합니다. 메타인지 및 중재 모듈을 통합하는 프레임워크를 제안하여 LLM이 자율적으로 자체 출력을 평가하고 규제할 수 있도록 합니다. AdvBench와 Prompt-Injection-Mixed-Techniques-2024 두 데이터 세트를 사용하여 7개의 최첨단 LLM에서 접근 방식을 평가했습니다. 실험 결과는 모델과 데이터 세트에 걸쳐 방어 성공률이 크게 향상되었으며, 향상된 모드에서는 완벽하거나 거의 완벽한 방어를 달성한 경우도 있음을 보여줍니다. 또한 방어 성공률 향상과 계산 오버헤드 간의 절충 관계를 분석했습니다. 이 자기 인식 방법은 LLM 윤리를 향상시키는 경량적이고 비용 효율적인 솔루션을 제공하며, 다양한 플랫폼에서 GenAI 사용 사례에 특히 유용합니다.
