본 논문은 대규모 웹 크롤링 데이터셋의 노이즈, 편향 및 무관한 정보로 인한 문제점을 해결하기 위해, 새로운 데이터 품질 지표인 Mimic Score를 제안합니다. Mimic Score는 기준 모델의 가중치를 활용하여 개별 샘플의 유용성을 평가하며, 훈련 그래디언트와 기준 모델이 유도하는 목표 방향 간의 정렬을 측정합니다. 이를 기반으로 개발된 Grad-Mimic 프레임워크는 학습할 샘플의 우선순위를 정하고, 전체 샘플 유용성을 추정하며, 효과적인 필터를 생성합니다. 실험 결과, Mimic Score를 사용하여 훈련을 유도하면 데이터 효율성이 향상되고, 수렴 속도가 빨라지며, 6개의 이미지 데이터셋에서 일관된 성능 향상을 가져오고, CLIP 모델의 훈련 단계를 20.7% 줄이는 효과를 보였습니다. 또한, Mimic Score 기반 필터는 기존 필터링 방법을 보완하여 470만 개의 샘플을 줄이면서 정확한 데이터셋 품질 추정을 제공합니다.
