Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

UNSEEN: Enhancing Dataset Pruning from a Generalization Perspective

Created by
  • Haebom
Category
Empty

저자

Furui Xu, Shaobo Wang, Jiajun Zhang, Chenghao Sun, Haixiang Tang, Linfeng Zhang

개요

딥러닝에서 데이터셋 크기가 커짐에 따라 계산상의 어려움이 발생하여, 데이터셋을 축소하면서도 성능을 유지하는 코어셋 구성이 중요해졌습니다. 기존 방법들은 훈련 단계에서 얻은 점수를 기반으로 대표적인 샘플을 선택했지만, 훈련 데이터에 대한 모델 성능이 최적화되면서 샘플 점수가 좁은 범위에 집중되어 효과적인 선택에 어려움이 있었습니다. 본 논문은 이러한 문제를 해결하기 위해 일반화 관점에서 훈련되지 않은 모델을 사용하여 샘플 점수를 매기는 UNSEEN 프레임워크를 제안합니다. 또한, 기존의 단일 단계 접근 방식의 한계를 극복하기 위해 다단계 시나리오와 점진적 선택 기법을 도입하여 코어셋의 품질을 동적으로 최적화합니다. CIFAR-10, CIFAR-100, ImageNet-1K 데이터셋에서 기존 SOTA 방법들을 능가하는 성능을 보였으며, 특히 ImageNet-1K에서 30%의 데이터 감소에도 성능 손실이 없었습니다.

시사점, 한계점

시사점:
일반화 관점에서 데이터셋 프루닝 접근 방식을 제시하여 기존 방법의 한계를 극복했습니다.
UNSEEN 프레임워크는 기존 데이터셋 프루닝 방법에 쉽게 통합될 수 있습니다.
다단계 접근 방식과 점진적 선택 기법을 통해 코어셋의 품질을 향상시켰습니다.
CIFAR-10, CIFAR-100, ImageNet-1K 데이터셋에서 SOTA 성능을 달성했습니다.
ImageNet-1K에서 30%의 데이터 감소에도 성능 손실이 없는 결과를 보였습니다.
한계점:
구체적인 한계점은 논문에 명시되어 있지 않음. (논문 요약에 기반)
👍