JADES: A Universal Framework for Jailbreak Assessment via Decompositional Scoring
Created by
Haebom
저자
Junjie Chu, Mingjie Li, Ziqing Yang, Ye Leng, Chenhao Lin, Chao Shen, Michael Backes, Yun Shen, Yang Zhang
개요
JADES (Jailbreak Assessment via Decompositional Scoring)는 기존의 부정확하고 주관적인 평가 방식을 개선하기 위해 제안된, 탈옥 성공 여부를 평가하는 범용 프레임워크입니다. 유해한 질문을 가중치가 부여된 하위 질문들로 분해하고, 각 하위 답변을 점수화하여 최종 결정을 내리는 기전을 사용합니다. 또한, 환각(hallucination) 탐지를 강화하기 위한 팩트 체킹 모듈을 선택적으로 포함할 수 있습니다. 본 논문에서는 400개의 탈옥 프롬프트 및 응답 쌍으로 구성된 새로운 벤치마크 JailbreakQR을 제시하고, JADES를 이를 통해 검증합니다. JADES는 인간 평가자와 98.5%의 일치율을 달성하여 기존 방식보다 9% 이상 향상된 성능을 보였으며, 기존 평가의 과대평가 문제를 드러냅니다.