Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Siege: Autonomous Multi-Turn Jailbreaking of Large Language Models with Tree Search

Created by
  • Haebom
Category
Empty

저자

Andy Zhou

개요

Siege는 대규모 언어 모델(LLM)의 안전성이 점진적으로 침해되는 과정을 트리 탐색 관점에서 모델링하는 다회차 적대적 프레임워크입니다. 정교하게 설계된 단일 프롬프트에 의존하는 단일 회차 탈옥과 달리, Siege는 각 회차에서 대화를 너비 우선 탐색 방식으로 확장하여 이전 응답으로부터의 부분적인 준수를 악용하는 여러 적대적 프롬프트를 생성합니다. 이러한 점진적인 정책 누출을 추적하고 후속 쿼리에 다시 주입함으로써, Siege는 사소한 양보가 어떻게 완전히 허용되지 않는 출력으로 누적될 수 있는지 보여줍니다. JailbreakBench 데이터셋에서의 평가 결과, Siege는 GPT-3.5-turbo에서 100%, GPT-4에서 97%의 성공률을 단일 다회차 실행으로 달성했으며, Crescendo나 GOAT와 같은 기준 모델보다 적은 쿼리를 사용했습니다. 이 트리 탐색 방법론은 연속적인 대화 회차에 걸쳐 모델 안전 장치가 어떻게 저하되는지에 대한 심층적인 관점을 제공하며, 언어 모델에 대한 강력한 다회차 테스트 절차의 시급성을 강조합니다.

시사점, 한계점

시사점:
LLM의 안전성 저하 과정을 다회차 대화의 관점에서 효과적으로 분석하는 새로운 프레임워크 제시.
기존 단일 회차 기반 방법론보다 적은 쿼리로 높은 성공률 달성.
LLM의 다회차 안전성 테스트의 중요성을 강조하고, 향후 연구 방향 제시.
한계점:
현재 JailbreakBench 데이터셋에 대한 평가 결과만 제시되어, 다른 데이터셋이나 LLM에 대한 일반화 가능성은 추가 연구 필요.
트리 탐색의 복잡도가 증가함에 따라 계산 비용이 증가할 수 있음.
Siege가 발견한 취약점을 해결하기 위한 LLM의 안전 메커니즘 개선 방안에 대한 구체적인 제안 부재.
👍