본 논문은 CLIP과 같은 다중 모달 모델에서의 기억(memorization) 현상에 대한 이해를 심화시키고자 한다. 특히, 지도 학습과 자기 지도 학습 요소를 모두 포함하는 CLIP 모델에서 기억이 어떻게 작용하는지, 그리고 이를 어떻게 정량화하고 완화할 수 있는지에 초점을 맞춘다. 연구진은 CLIP에서의 기억을 정의하고(CLIPMem), 이를 통해 CLIP 모델의 기억 수준을 측정한다. 그 결과, CLIP의 기억 행동은 지도 학습과 자기 지도 학습의 중간 단계에 있으며, 잘못된 캡션이 붙은 샘플에서 기억 수준이 가장 높다는 것을 발견했다. 또한, 텍스트 인코더가 이미지 인코더보다 기억에 더 많이 기여한다는 것을 밝히고, 기억을 줄이면서 유용성을 향상시키는 여러 전략을 제시한다. 이는 기존의 학습 패러다임에서 기억 감소가 일반적으로 유용성 감소로 이어지는 것과 대조적이다.
