Para abordar la naturaleza de caja negra y la falta de transparencia de los métodos existentes de restauración de imágenes basados en CNN, este artículo propone MemoryNet, que combina capas de memoria de tres granularidades diferentes con aprendizaje contrastivo. MemoryNet realiza aprendizaje contrastivo clasificando las muestras en tres categorías: positiva, negativa y real. Las capas de memoria preservan las características profundas de la imagen, mientras que el aprendizaje contrastivo equilibra las características aprendidas. Los resultados experimentales en las tareas Derain, Deshadow y Deblur demuestran la eficacia del método propuesto para mejorar el rendimiento de la restauración. Además, el método propuesto mejora significativamente los valores de PSNR y SSIM en conjuntos de datos con tres tipos de degradación diferentes, lo que demuestra una mejora en la calidad subjetiva de las imágenes restauradas. El código fuente está disponible públicamente.