One-Shot is Enough: Consolidating Multi-Turn Attacks into Efficient Single-Turn Prompts for LLMs
Created by
- Haebom
Category
Empty
저자
Junwoo Ha, Hyunjun Kim, Sangyoon Yu, Haon Park, Ashkan Yousefpour, Yuna Park, Suhyun Kim
개요
본 논문은 다회차 대화를 통해 대규모 언어 모델(LLM)의 안전장치를 우회하는 "탈옥" 공격에 대한 연구를 다룹니다. 다회차 공격은 많은 노력이 필요하기 때문에 확장성이 제한적이라는 점에 착안하여, 다회차 탈옥 프롬프트를 단일 회차 공격으로 변환하는 새로운 방법인 M2S(Multi-turn-to-Single-turn)를 제시합니다. Hyphenize, Numberize, Pythonize 세 가지 변환 전략을 통해 순차적 맥락을 유지하면서 단일 질의로 패키징하는 방식입니다. Multi-turn Human Jailbreak (MHJ) 데이터셋을 사용한 실험 결과, M2S는 기존의 다회차 대화와 비교하여 공격 성공률(ASR)을 유지하거나 향상시키는 것으로 나타났습니다. 특히 StrongREJECT 기반 유해성 평가에서 Mistral-7B에 대해 최대 95.9%의 ASR을 달성했으며, GPT-4o에서는 기존 다회차 프롬프트보다 최대 17.5%의 절대적 개선을 보였습니다. 분석 결과, 특정 적대적 전술은 단일 프롬프트로 통합될 때 구조적 형식 지시를 이용하여 표준 정책 검사를 회피하는 것으로 나타났습니다. 이는 단일 회차 공격이 다회차 공격보다 간편하고 저렴하지만, 동등하거나 더 강력할 수 있음을 시사합니다.
시사점, 한계점
•
시사점:
◦
다회차 탈옥 공격을 단일 회차 공격으로 효과적으로 변환하는 M2S 기법 제시.
◦
단일 회차 공격의 위험성을 강조하고 LLM 안전 전략 재평가의 필요성 제기.
◦
단일 프롬프트 내 구조적 형식 지시를 이용한 안전 장치 회피 전략 발견.
◦
M2S를 통해 기존 다회차 공격보다 높은 공격 성공률 달성 가능성 제시.
•
한계점:
◦
제시된 M2S 기법의 일반화 가능성 및 다양한 LLM에 대한 적용성에 대한 추가 연구 필요.
◦
StrongREJECT 기반 유해성 평가 외 다른 유해성 평가 방식에 대한 검증 필요.
◦
M2S 기법에 대한 방어 기법 개발 및 연구 필요.
◦
특정 적대적 전술에 대한 분석에 국한, 더 광범위한 적대적 전술에 대한 연구 필요.
