Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Rectifying Soft-Label Entangled Bias in Long-Tailed Dataset Distillation

Created by
  • Haebom
Category
Empty

저자

Chenyang Jiang, Hang Zhao, Xinyu Zhang, Zhengcen Li, Qiben Shan, Shaocong Wu, Jingyong Su

개요

본 논문은 대규모 데이터셋을 작고 정보가 풍부한 합성 데이터로 압축하는 데이터셋 증류(Dataset Distillation) 기술을 다루며, 특히 불균형 데이터셋에서의 성능 저하 문제를 해결하는 데 중점을 둡니다. 소프트 레이블의 중요성을 강조하고, 불균형을 고려한 일반화 경계를 제시하며, 소프트 레이블 편향의 두 가지 주요 원인을 밝힙니다. 이러한 편향을 해결하기 위해, 적응형 소프트 레이블 정렬 모듈(ADSA)을 제안합니다. ADSA는 기존 증류 파이프라인에 통합되어 성능을 향상시키며, ImageNet-1k-LT 데이터셋에서 최대 11.8%의 꼬리 클래스 정확도 향상과 전체 정확도 41.4%를 달성했습니다.

시사점, 한계점

시사점:
장기 꼬리 분포를 가진 데이터셋에서의 데이터 증류 성능 향상.
소프트 레이블 편향의 원인 규명 및 해결 방안 제시.
경량 모듈인 ADSA를 통한 기존 증류 파이프라인의 손쉬운 성능 개선.
제한된 레이블 예산 및 다양한 증류 기술에 대한 견고하고 일반화 가능한 솔루션 제공.
한계점:
본 논문에서 구체적인 한계점은 제시되지 않음.
👍