본 논문은 대규모 언어 모델(LLM)의 안전성 저하를 나무 탐색 관점에서 모델링하는 다회차 적대적 프레임워크인 Tempest를 소개합니다. Tempest는 정교하게 설계된 단일 프롬프트에 의존하는 단일 회차 탈옥과 달리, 이전 응답으로부터의 부분적인 준수를 이용하는 여러 적대적 프롬프트를 광폭 탐색 방식으로 각 회차마다 생성하여 대화를 확장합니다. 이러한 점진적인 정책 누출을 추적하고 후속 질문에 다시 주입함으로써, 사소한 양보가 어떻게 완전히 허용되지 않는 출력으로 누적될 수 있는지 보여줍니다. JailbreakBench 데이터셋에 대한 평가 결과, Tempest는 기존 방법인 Crescendo나 GOAT보다 적은 질문을 사용하여 GPT-3.5-turbo에서 100%, GPT-4에서 97%의 성공률을 단일 다회차 실행에서 달성했습니다. 이 나무 탐색 방법론은 연속적인 대화 회차에 걸쳐 모델 안전장치가 어떻게 저하되는지에 대한 심층적인 관점을 제공하며, 언어 모델에 대한 강력한 다회차 테스트 절차의 시급성을 강조합니다.
