Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FAST: Topology-Aware Frequency-Domain Distribution Matching for Coreset Selection

Created by
  • Haebom
Category
Empty

저자

Jin Cui (State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, National Engineering Research Center for Visual Information and Applications, and Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University), Boran Zhao (School of Software Engineering, Xi'an Jiaotong University), Jiajun Xu (School of Software Engineering, Xi'an Jiaotong University), Jiaqi Guo (School of Mathematical Sciences, Nankai University), Shuo Guan (School of Software Engineering, Xi'an Jiaotong University), Pengju Ren (State Key Laboratory of Human-Machine Hybrid Augmented Intelligence, National Engineering Research Center for Visual Information and Applications, and Institute of Artificial Intelligence and Robotics, Xi'an Jiaotong University)

FAST: DNN-free Distribution-Matching Coreset Selection

개요

FAST는 딥 뉴럴 네트워크(DNN) 훈련의 에너지 소비와 계산 부담을 줄이기 위해 대규모 데이터 세트를 작고 대표적인 하위 집합으로 압축하는 DNN-free 분포 매칭 coreset 선택 프레임워크입니다. Spectral graph 이론에 기반한 그래프 제약 최적화 문제로 coreset 선택 작업을 공식화하고, 주파수 도메인에서 전체 분포 정보를 캡처하기 위해 Characteristic Function Distance (CFD)를 사용합니다. "vanishing phase gradient" 문제를 해결하기 위해 Attenuated Phase-Decoupled CFD를 도입하고, Progressive Discrepancy-Aware Sampling 전략을 통해 정확한 매칭을 달성합니다.

시사점, 한계점

DNN-free 방식으로 모델 특정 파라미터 및 아키텍처 편향을 제거했습니다.
Spectral graph 이론과 CFD를 활용하여 분포 정보를 효과적으로 캡처합니다.
Attenuated Phase-Decoupled CFD 및 Progressive Discrepancy-Aware Sampling을 통해 성능을 향상시켰습니다.
다양한 벤치마크에서 기존 방법보다 우수한 성능을 보였습니다 (평균 정확도 9.12% 향상).
에너지 효율성이 뛰어나고 (96.57% 전력 소비 감소) 평균 2.2배의 속도 향상을 달성했습니다.
논문에서 구체적인 한계점은 명시되지 않았습니다.
👍