Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CAPTURE: Context-Aware Prompt Injection Testing and Robustness Enhancement

Created by
  • Haebom

저자

Gauri Kholkar, Ratinder Ahuja

개요

본 논문은 대규모 언어 모델의 주요 보안 위협인 프롬프트 인젝션에 대한 기존 방어 모델의 한계를 지적하고, 새로운 벤치마크인 CAPTURE를 제안합니다. CAPTURE는 문맥 인식 환경에서 공격 탐지 및 과잉 방어 경향을 평가하며, 최소한의 도메인 내 예시를 사용합니다. 실험 결과, 기존 모델은 적대적 상황에서는 높은 위음성(false negative) 비율을, 양성 상황에서는 과도한 위양성(false positive) 비율을 보이는 것으로 나타났습니다. 논문에서는 CAPTURE 데이터셋으로 훈련된 새로운 모델 CaptureGuard를 제시하며, 이 모델이 위음성 및 위양성 비율을 크게 감소시키고 외부 벤치마크에서도 효과적으로 일반화됨을 보여줍니다.

시사점, 한계점

시사점:
기존 프롬프트 인젝션 방어 모델의 한계(높은 위음성 및 위양성 비율)를 명확히 밝힘.
문맥 인식 환경을 고려한 새로운 벤치마크 CAPTURE 제안.
CAPTURE를 사용하여 훈련된 CaptureGuard 모델은 기존 모델보다 향상된 성능을 보임.
더욱 강력하고 실용적인 프롬프트 인젝션 방어 모델 개발을 위한 방향 제시.
한계점:
CAPTURE 벤치마크의 일반화 가능성에 대한 추가적인 검증 필요.
CaptureGuard 모델의 성능이 다양한 실제 환경에서도 유지되는지 추가 연구 필요.
특정 유형의 프롬프트 인젝션 공격에 대해서는 여전히 취약할 가능성 존재.
👍