Este artículo propone la Inyección de Seguridad de Rango Uno (ROSI), un método novedoso para mejorar la seguridad de los modelos de lenguaje a gran escala (LLM). ROSI es un método simple de modificación de peso de rango uno que dirige permanentemente las activaciones del modelo al subespacio de parámetros de rechazo, sin necesidad de ajustes finos. Calcula las instrucciones de seguridad requeridas a partir de un pequeño conjunto de pares de directivas dañinas e inofensivas y las aplica a todas las matrices de escritura de flujo residual. La evaluación en Llama Guard 3 muestra que ROSI mejora consistentemente la tasa de rechazo de seguridad, manteniendo la utilidad del modelo. Además, demostramos que puede amplificar y reordenar posibles instrucciones de seguridad en modelos sin censura, lo que demuestra su utilidad como procedimiento de seguridad de último paso eficaz. En consecuencia, la dirección de peso, dirigida por objetivos e interpretable, es un mecanismo económico y potente para mejorar la seguridad de los LLM, que complementa paradigmas de ajuste fino que requieren más recursos.
