Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

UNSEEN: Enhancing Dataset Pruning from a Generalization Perspective

Created by
  • Haebom
Category
Empty

저자

Furui Xu, Shaobo Wang, Jiajun Zhang, Chenghao Sun, Haixiang Tang, Linfeng Zhang

개요

딥러닝의 데이터셋 규모가 커지면서 발생하는 계산 문제를 해결하기 위해, 본 논문은 전체 데이터셋에서 성능 저하 없이 크기를 줄이는 데이터셋 가지치기(pruning) 연구를 수행했다. 기존 연구는 모델 훈련 중 얻은 점수를 기반으로 대표적인 샘플을 선택하는 경향이 있었지만, 이는 훈련 데이터에 대한 모델 성능이 높아질수록 샘플 점수 분포가 좁아져 효과적인 선택을 방해한다는 문제점을 지적했다. 이에 본 논문은 일반화 관점에서 훈련에 노출되지 않은 모델을 사용하여 샘플 점수를 매기는 UNSEEN 프레임워크를 제안하고, 이를 기존 가지치기 방법에 통합하는 방안을 제시했다. 또한, 단일 단계의 점수 기반 방법의 한계를 극복하기 위해, 다양한 코어셋으로 훈련된 모델을 통해 점수를 매기는 다단계 방식을 도입하고, 코어셋의 품질을 동적으로 최적화하는 점진적 선택 기법을 제안했다. CIFAR-10, CIFAR-100, ImageNet-1K 데이터셋에 대한 실험 결과, 제안하는 방법이 기존 SOTA(State-of-the-Art) 방법들을 능가하며, ImageNet-1K에서 30%의 데이터 감소에도 성능 손실이 없음을 확인했다.

시사점, 한계점

시사점:
일반화 관점에서 훈련되지 않은 모델을 사용하여 데이터셋 가지치기를 수행하는 UNSEEN 프레임워크 제안.
기존 가지치기 방법에 쉽게 통합 가능한 플러그 앤 플레이 방식 제시.
다단계 점수 매기기 및 점진적 선택 기법을 통해 코어셋 품질 동적 최적화.
CIFAR-10, CIFAR-100, ImageNet-1K 데이터셋에서 SOTA 달성 및 ImageNet-1K에서 30% 데이터 감소에도 성능 유지.
한계점:
구체적인 한계점은 논문에 명시되지 않음.
👍