JADES (Evaluación de Jailbreak mediante Puntuación Descomposicional) es un marco de trabajo de propósito general para evaluar el éxito de los jailbreaks, diseñado para mejorar los métodos de evaluación existentes, imprecisos y subjetivos. Descompone las preguntas perjudiciales en subpreguntas ponderadas y califica cada subrespuesta para llegar a una decisión final. Además, puede incluir opcionalmente un módulo de verificación de datos para mejorar la detección de alucinaciones. En este artículo, presentamos un nuevo punto de referencia, JailbreakQR, compuesto por 400 pares de respuestas rápidas de jailbreak, y validamos JADES con él. JADES alcanza un 98,5 % de concordancia con evaluadores humanos, lo que demuestra una mejora de más del 9 % con respecto a los métodos existentes y expone el problema de la sobreestimación en los métodos de evaluación actuales.
