En este artículo, proponemos un recurso integral llamado FalseReject, que consta de 16.000 preguntas aparentemente perjudiciales y respuestas estructuradas en 44 categorías relacionadas con la seguridad. Este recurso aborda el problema de los enfoques alineados con la seguridad para los modelos de lenguaje a gran escala (LLM), que rechazan excesivamente incluso preguntas inofensivas. Presentamos un marco de interacción multiagente adversarial basado en grafos para generar indicaciones diversas y complejas, y proporcionamos respuestas estructuradas con inferencias explícitas que ayudan al modelo a distinguir con precisión entre contextos seguros e inseguros. FalseReject incluye conjuntos de datos de entrenamiento personalizados y conjuntos de pruebas de referencia anotadas por personas, tanto para modelos estándar ajustados por directivas como para modelos basados en inferencias. Demostramos el problema persistente de los rechazos excesivos mediante una exhaustiva evaluación comparativa en 29 LLM de última generación (SOTA), y demostramos experimentalmente que el ajuste fino del aprendizaje supervisado mediante FalseReject reduce significativamente los rechazos innecesarios sin comprometer la seguridad general ni las funciones generales del lenguaje.
