Dans cet article, nous présentons l'ensemble de données de sécurité OpenMiniSafety, composé de 1 067 questions difficiles, afin d'évaluer l'impact des techniques de quantification sur la sécurité et la fiabilité afin d'améliorer l'efficacité des modèles linguistiques à grande échelle (LLM). À partir de cet ensemble de données, nous publions 4 268 paires questions-réponses annotées pour quatre LLM (versions quantifiée et de précision) et évaluons 66 variantes de modèles quantifiés à l'aide de quatre méthodes de quantification post-apprentissage (PTQ) et de deux méthodes d'apprentissage sensible à la quantification (QAT) sur quatre critères de sécurité (dont une évaluation centrée sur l'humain). Nos résultats montrent que les méthodes PTQ et QAT peuvent toutes deux dégrader l'alignement de sécurité, tandis que les techniques QAT telles que QLORA ou STE sont moins sûres. Nous soulignons qu'aucune méthode ne surpasse systématiquement les autres, quels que soient les critères de sécurité, les paramètres de précision ou les modèles, ce qui démontre la nécessité de stratégies de compression soucieuses de la sécurité. De plus, les méthodes spécifiques à la précision telles que QUIK et AWQ (4 bits), AQLM et Q-PET (2 bits) surpassent leur précision cible, ce qui signifie que ces méthodes ne sont pas meilleures en compression, mais plutôt des approches différentes.
