Este artículo propone una técnica de destilación autosupervisada de conjuntos de datos (DSD) para abordar los altos costos asociados con los conjuntos de datos masivos necesarios para el entrenamiento de modelos de aprendizaje profundo a gran escala. A diferencia de la destilación supervisada convencional de conjuntos de datos, presentamos un método para comprimir imágenes y representaciones obtenidas mediante aprendizaje autosupervisado en un conjunto de datos destilados. Para lograrlo, proponemos un método novedoso para parametrizar imágenes y representaciones utilizando bases de baja dimensión, una técnica de aumento predeterminada para abordar la inestabilidad del aumento de datos y una red ligera para comprimir pares de destilación. Experimentos con diversos conjuntos de datos demuestran la eficacia del método propuesto, su rendimiento de generalización en diversas arquitecturas y su excelente rendimiento en aprendizaje por transferencia.
