Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

h4rm3l: A language for Composable Jailbreak Attack Synthesis

Created by
  • Haebom
Category
Empty

저자

Moussa Koulako Bala Doumbouya, Ananjan Nandi, Gabriel Poesia, Davide Ghilardi, Anna Goldie, Federico Bianchi, Dan Jurafsky, Christopher D. Manning

개요

본 논문은 최첨단 대규모 언어 모델(LLM)의 안전 필터를 우회하는 "탈옥 공격(jailbreak attacks)"에 대한 문제점을 다룬다. 기존의 LLM 안전성 평가 방법은 다양한 탈옥 공격을 충분히 포괄하지 못한다는 한계가 있다. 이를 해결하기 위해, 본 논문은 인간이 읽을 수 있는 도메인 특정 언어(DSL)인 h4rm3l을 제안한다. h4rm3l은 매개변수화된 문자열 변환 기본 요소의 조합으로 탈옥 공격을 공식적으로 표현한다. bandit 알고리즘을 사용하는 합성기를 통해 목표 LLM에 최적화된 탈옥 공격을 생성하고, 자동화된 유해 LLM 동작 분류기를 사용하여 생성된 공격의 유효성을 평가한다. 실험 결과, 6개의 최첨단 오픈소스 및 독점 LLM을 대상으로 2656개의 새로운 탈옥 공격을 생성했으며, 성공률이 90%를 초과하는 것을 확인했다. h4rm3l은 기존의 탈옥 공격보다 다양하고 성공률이 높은 새로운 탈옥 공격을 생성할 수 있음을 보여준다.

시사점, 한계점

•
시사점:
◦
LLM의 안전성 평가에 있어 기존 방법의 한계를 극복하는 새로운 접근법 제시.
◦
h4rm3l을 통해 다양하고 효과적인 탈옥 공격을 대규모로 생성 가능.
◦
생성된 탈옥 공격을 통해 최첨단 LLM의 취약성을 효과적으로 평가 가능.
◦
LLM 안전성 향상을 위한 연구 및 개발에 기여.
•
한계점:
◦
h4rm3l이 모든 유형의 탈옥 공격을 포괄하지 못할 가능성 존재.
◦
생성된 탈옥 공격의 윤리적 문제 및 악용 가능성.
◦
LLM의 발전 속도에 따라 h4rm3l의 효과성이 감소할 가능성.
◦
합성된 탈옥 공격이 실제 사용자의 공격과 완벽하게 일치하지 않을 수 있음.
👍
Made with Slashpage