STACK: Adversarial Attacks on LLM Safeguard Pipelines
Created by
Haebom
저자
Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave
개요
본 논문은 최첨단 AI 시스템의 재난적 오용으로부터 보호하기 위해 여러 계층의 안전장치를 사용하는 최신 AI 개발 동향을 다룹니다. Anthropic의 Claude 4 Opus 모델을 포함한 여러 개발사들의 안전 장치 파이프라인에 대한 보안성이 불명확하다는 점을 지적하며, 이를 평가하고 공격하는 선행 연구가 부족함을 언급합니다. 본 연구는 오픈소스 방어 파이프라인을 개발하고 적대적 테스트(red-teaming)하여 이러한 간극을 해소하고자 합니다. 새로운 퓨샷 프롬프트 기반 입력 및 출력 분류기를 개발하여 기존 최첨단 안전장치 모델인 ShieldGemma를 성능 면에서 능가함을 보였으며, 단계적 공격(STACK)이라는 새로운 공격 기법을 제시하여 블랙박스 환경에서도 상당한 성공률을 달성했습니다. 마지막으로, 개발자들이 단계적 공격을 방지하기 위해 사용할 수 있는 완화 방안을 제시합니다.
시사점, 한계점
•
시사점:
◦
퓨샷 프롬프트 기반 입력 및 출력 분류기가 기존 최첨단 안전장치 모델보다 우수한 성능을 보임.
◦
단계적 공격(STACK) 기법을 통해 최첨단 안전장치 파이프라인에 대한 효과적인 공격 가능성을 입증.
◦
블랙박스 환경에서의 공격 가능성을 보여줌으로써, AI 안전장치의 취약성을 명확히 제시.
◦
단계적 공격을 방지하기 위한 구체적인 완화 방안 제시.
•
한계점:
◦
현재 제시된 완화 방안의 실효성에 대한 추가적인 연구 필요.
◦
다양한 AI 모델 및 안전장치 파이프라인에 대한 일반화 가능성에 대한 추가적인 연구 필요.
