대규모 데이터셋의 계산 및 저장 문제를 해결하기 위해 제안된 데이터셋 증류는 기존 데이터셋을 대체하는 압축된 데이터셋을 생성하여 모델 성능을 유지하는 기법입니다. 기존의 이중 최적화 기반 방법과 달리 분포 정합(DM) 방법은 합성 데이터와 원본 데이터의 분포를 정렬하여 중첩 최적화를 제거함으로써 효율성을 높입니다. DM은 높은 계산 효율성을 제공하여 유망한 해결책으로 떠올랐지만, 기존의 DM 방법은 유클리드 공간에 제한되어 데이터를 독립적이고 동일하게 분포된 점으로 취급하여 복잡한 기하학적 및 계층적 관계를 간과합니다. 본 논문에서는 이러한 한계를 극복하기 위해 새로운 쌍곡선 데이터셋 증류 방법인 HDD를 제안합니다. 음의 곡률과 거리에 따른 지수적 부피 증가를 특징으로 하는 쌍곡선 공간은 계층적이고 트리와 같은 구조를 자연스럽게 모델링합니다. HDD는 얕은 네트워크에서 추출된 특징을 로렌츠 쌍곡선 공간에 임베딩하고, 합성 데이터와 원본 데이터 간의 차이는 중심점 간의 쌍곡선(측지선) 거리로 측정합니다. 이 거리를 최적화함으로써 계층적 구조가 증류 과정에 명시적으로 통합되어 합성 샘플이 원본 데이터 분포의 루트 중심 영역으로 이동하도록 유도하는 동시에 기본 기하학적 특성을 유지합니다. 또한, 쌍곡선 공간에서의 가지치기는 증류된 코어셋의 20%만으로도 모델 성능을 유지하면서 훈련 안정성을 크게 향상시키는 것을 발견했습니다. 특히 HDD는 기존의 대부분의 DM 방법과 원활하게 호환되며, 다양한 데이터셋에 대한 광범위한 실험을 통해 그 효과를 검증했습니다.
