Accelerating Large-Scale Dataset Distillation via Exploration-Exploitation Optimization

Created by

Haebom

저자

Muhammad J. Alahmadi (DK), Peng Gao (DK), Feiyi Wang (DK), Dongkuan (DK), Xu

💡 개요

본 논문은 대규모 데이터셋 증류(Dataset Distillation) 과정에서 발생하는 정확도와 효율성 간의 상충 관계를 해결하기 위해 탐색-활용 증류(Exploration-Exploitation Distillation, E^2D) 방법을 제안합니다. E^2D는 전체 이미지 초기화를 통해 의미론적 무결성과 특징 다양성을 유지하며, 두 단계의 최적화 전략(탐색 단계에서 고손실 영역 식별, 활용 단계에서 해당 영역에 집중)을 사용하여 계산을 효율화합니다. 이를 통해 대규모 데이터셋 증류에서 정확도 손실 없이 훈련 속도를 획기적으로 향상시킬 수 있습니다.

🔑 시사점 및 한계

•

기존의 최적화 기반 방법론보다 훨씬 효율적으로 대규모 데이터셋 증류를 수행할 수 있습니다.

•

ImageNet-1K에서는 18배, ImageNet-21K에서는 4.3배 빠른 속도로 기존 최고 성능을 능가하는 결과를 보였습니다.

•

제안된 탐색-활용 전략은 불필요한 계산을 줄이고 핵심 정보에 집중하여 증류 효율성을 높입니다.

•

향후 연구에서는 다양한 데이터셋 규모와 복잡성에 대한 E^2D의 일반화 성능을 추가적으로 검증하고, 다른 종류의 데이터 증류 문제에도 적용 가능성을 탐색할 필요가 있습니다.

PDF 보기

Made with Slashpage