본 논문은 대규모 언어 모델(LLM)의 취약점을 악용하여 유해 콘텐츠 생성을 유도하는 탈옥 공격(Jailbreak attack)에 대한 연구를 제시합니다. 특히, 모호한 프롬프트를 사용하여 LLM을 혼란시키는 일반적인 공격 방식에 초점을 맞추어, LLM의 입력 프롬프트와 출력 간의 내적 관계를 밝히기 위해 어텐션 가중치 분포를 분석합니다. 통계적 분석 방법을 통해 어텐션 강도(Attn_SensWords), 문맥 의존성 점수(Attn_DepScore), 어텐션 분산 엔트로피(Attn_Entropy) 등의 새로운 지표를 정의하고, 이를 활용하여 "기만 공격" 전략에서 영감을 받은 어텐션 기반 공격(ABA) 전략을 제안합니다. ABA는 중첩된 프롬프트를 사용하여 LLM의 어텐션 분포를 전환시켜, 무해한 부분에 주의를 집중시키는 방식으로 작동합니다. 또한, ABA를 바탕으로 어텐션 분포를 조정하여 LLM의 강건성을 향상시키는 어텐션 기반 방어(ABD) 전략도 제시합니다. 실험 결과를 통해 ABA와 ABD의 효과를 검증하고, 어텐션 가중치 분포가 LLM의 출력에 큰 영향을 미친다는 것을 보여줍니다.
