본 논문은 대규모 데이터셋에 대한 의존성을 완화하기 위해 생성 모델을 이용한 데이터셋 증류(dataset distillation) 기법을 제안합니다. 기존 방법들이 원본 데이터셋과의 정합성에 초점을 맞춘 것과 달리, 본 논문은 분류 작업과 같은 특정 downstream task에 대한 성능 향상을 위해 task-specific sampling 전략을 제시합니다. 이는 이미지 풀에서 원본 데이터셋의 난이도 분포와 일치하는 샘플링 분포를 얻어 데이터셋을 생성하고, 분포 편향을 수정하기 위해 로그 변환을 사전 처리 단계로 적용하는 방식입니다. 광범위한 실험을 통해 제안된 방법의 효과를 검증하고 다른 downstream task에도 적용 가능성을 시사합니다. 코드는 깃허브에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
task-specific sampling 전략을 통해 downstream task의 성능 향상 가능성을 제시.
◦
생성 모델 기반 데이터셋 증류 분야에 새로운 관점(난이도 고려)을 제시.
◦
로그 변환을 통한 분포 편향 수정 효과 확인.
◦
제안된 방법의 코드 공개를 통한 재현성 및 확장성 확보.
•
한계점:
◦
현재는 분류 task에만 초점을 맞추고 있음. 다른 downstream task에 대한 일반화 가능성은 추가 연구 필요.
◦
제안된 난이도 측정 방식의 한계 및 개선 여지 존재 가능성.
◦
특정 데이터셋 및 task에 대한 성능 향상이 다른 데이터셋 및 task에도 일반화될지는 추가 실험 필요.
