Cet article propose le repliement de modèles, une nouvelle technique de compression de modèles sans données. Cette technique fusionne des neurones structurellement similaires entre les couches, réduisant ainsi considérablement la taille du modèle sans ajustement fin ni accès aux données d'apprentissage. Contrairement aux méthodes existantes, elle utilise le clustering k-means et une nouvelle technique sans données pour prévenir l'effondrement ou l'explosion de la variance, préservant ainsi les statistiques des données pendant la compression. Grâce à des cadres théoriques et à des expériences sur des benchmarks standard, notamment ResNet18 et LLaMA-7B, nous démontrons que le repliement de modèles atteint des performances comparables à celles des techniques de compression pilotées par les données et surpasse les méthodes sans données récemment proposées, notamment à des niveaux de parcimonie élevés. Cette méthode est particulièrement efficace pour la compression de modèles à grande échelle, ce qui la rend adaptée à un déploiement dans des environnements aux ressources limitées.
