PRISM: Diversifying Dataset Distillation by Decoupling Architectural Priors
Created by
Haebom
Category
Empty
저자
Brian B. Moser, Shalini Strode, Federico Raue, Stanislav Frolov, Krzysztof Adamkiewicz, Arundhati Shanbhag, Joachim Folk, Tobias C. Nauen, Andreas Dengel
개요
PRISM은 다양한 소스 모델의 사전 지식을 활용하여 데이터셋 증류 시 단일 교사 모델의 귀납적 편향을 극복하는 프레임워크입니다. 로그 일치 및 정규화 목표를 분리하여 서로 다른 교사 아키텍처(로그용 주 모델 및 배치 정규화(BN) 정렬을 위한 확률적 부분 집합)로 감독합니다. ImageNet-1K에서 PRISM은 단일 교사 방법 및 최근 다중 교사 변형에 비해 저 및 중간 IPC 환경에서 일관되고 재현 가능한 성능을 보입니다. 생성된 데이터는 특징 간 코사인 유사성이 현저히 감소하여 클래스 내 다양성이 풍부함을 보여줍니다. 교사 선택 전략(사전 vs. 내부 증류)을 분석하고 빠른 병렬 합성을 위한 확장 가능한 교차 클래스 배치 형성 체계를 제시합니다.