SecInfer: Preventing Prompt Injection via Inference-time Scaling
Created by
Haebom
Category
Empty
저자
Yupei Liu, Yanting Wang, Yuqi Jia, Jinyuan Jia, Neil Zhenqiang Gong
SecInfer: Inference-Time Scaling for Defense Against Prompt Injection Attacks
개요
본 논문은 대규모 언어 모델(LLM)의 보안에 광범위한 위협을 가하는 프롬프트 주입 공격에 대한 새로운 방어 기법인 SecInfer를 제안합니다. SecInfer는 추론 시 더 많은 컴퓨팅 자원을 할당하여 LLM의 성능을 향상시키는 새로운 패러다임인 추론 시간 스케일링을 기반으로 합니다. SecInfer는 시스템 프롬프트를 활용하여 다양한 추론 경로를 탐색하고 여러 응답을 생성하는 시스템 프롬프트 기반 샘플링 단계와, 의도된 작업을 가장 잘 수행할 가능성이 있는 응답을 선택하는 대상 작업 기반 집계 단계로 구성됩니다.
시사점, 한계점
•
시사점:
◦
추론 시간에 추가적인 컴퓨팅 자원을 활용하여 기존 및 적응형 프롬프트 주입 공격 모두 효과적으로 방어 가능.
◦
기존 방어 기법 및 기존 추론 시간 스케일링 접근 방식을 능가하는 성능.
◦
새로운 방어 패러다임 제시.
•
한계점:
◦
논문에 구체적인 한계점에 대한 언급은 없음. (하지만 추론 시간 스케일링에 따른 추가 컴퓨팅 자원 필요)
