Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Les vecteurs de direction optimisés en un coup influencent les comportements liés à la sécurité dans les LLM
Created by
Haebom
Auteur
Jacob Dunefsky, Arman Cohan
Contour
Cet article traite des vecteurs de pilotage (VP), une approche prometteuse pour l'interprétation et le contrôle des modèles de langage à grande échelle (MLH). Les méthodes d'optimisation des VP existantes nécessitent des jeux de données de contrôle à grande échelle, difficiles à construire et présentant des limites pour la capture de corrélations parasites. Dans cet article, nous proposons une méthode d'optimisation directe des VP par descente de gradient sur un seul exemple d'apprentissage et étudions systématiquement leurs capacités de généralisation. En examinant diverses techniques d'optimisation des VP, nous constatons que les VP obtenus régulent efficacement les comportements liés à la sécurité dans plusieurs modèles. Plus précisément, des expériences sur un modèle de manipulation d'alignement démontrent que l'optimisation de VP mono-coup, qui induisent des comportements nuisibles dans des exemples bénins, peut supprimer les comportements nuisibles dans des exemples malveillants par négation. De plus, dans une expérience de suppression du rejet, nous démontrons que les VP optimisés mono-coup, propagés en fonction des entrées, atteignent un taux de réussite de 96,9 % contre l'attaque Harmbench. De plus, nous étendons notre étude des « incohérences émergentes » en montrant que les SV optimisés induisent des réponses négatives des modèles aux invites ouvertes non pertinentes, favorisant ainsi la génération de code vulnérable. Enfin, nous étudions comment les LLM à directives optimisées, utilisant l'optimisation SV en une seule fois, se rétablissent après une sortie incorrecte et constatons que cette capacité est indépendante du fait que le modèle indique explicitement que l'information est incorrecte. Globalement, nos résultats suggèrent que l'optimisation SV sur un seul exemple peut atténuer un large éventail de comportements incohérents dans les LLM. Le code est disponible dans https://github.com/jacobdunefsky/one-shot-steering-repro et https://github.com/jacobdunefsky/one-shot-steering-misalignment .
Nous montrons que l’optimisation SV à l’aide d’un seul exemple de formation peut contrôler efficacement le comportement lié à la sécurité du LLM.
◦
Nous démontrons expérimentalement que l'optimisation SV en un coup est applicable à divers types de problèmes de désalignement LLM (manipulation d'alignement, suppression de rejet et désalignement émergent).
◦
Nous avons constaté que la capacité du LLM à se remettre d’une production de désinformation était indépendante d’une mention explicite.
◦
La méthode proposée est plus efficace que les méthodes existantes basées sur des ensembles de données contrastives à grande échelle.
•
Limitations:
◦
Des recherches supplémentaires sont nécessaires pour évaluer la capacité de généralisation de la méthode proposée.
◦
La possibilité d’un surajustement à un modèle ou à une tâche particulière doit être prise en compte.
◦
Des considérations éthiques sont nécessaires concernant la possibilité que ces informations puissent être utilisées à des fins malveillantes.
◦
En raison des limites de l’apprentissage basé sur un exemple unique, il existe un risque de mauvaises performances de généralisation dans différentes situations.
