Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Finding the Muses: Identifying Coresets through Loss Trajectories

Created by
  • Haebom
Category
Empty

저자

Manish Nagaraj, Deepak Ravikumar, Efstathia Soufleri, Kaushik Roy

개요

본 논문은 실시간 또는 자원 제약 환경에서의 딥러닝 모델 확장성 문제를 해결하기 위해, 일반화를 주도하는 중요한 훈련 샘플을 식별하는 새로운 코어셋 선택 지표인 손실 궤적 상관관계(LTC)를 제안합니다. LTC는 훈련 샘플 손실 궤적과 검증 세트 손실 궤적 간의 정렬을 정량화하여, 컴팩트하고 대표적인 하위 집합을 구성합니다. 기존 방법들의 계산 및 저장 오버헤드 문제를 해결하여, 훈련의 부산물로 계산될 수 있으므로 효율성이 뛰어납니다. CIFAR-100 및 ImageNet-1k에 대한 실험 결과, LTC는 최첨단 코어셋 선택 방법과 동등하거나 그 이상의 정확도를 달성하며, 성능 차이는 1% 미만입니다. 또한 ResNet, VGG, DenseNet 및 Swin Transformer를 포함한 다양한 아키텍처에서도 효과적으로 전이되며, 성능 저하는 2% 미만입니다. LTC는 기존 방법보다 훨씬 적은 계산 비용으로 훈련 역학에 대한 통찰력(예: 정렬 및 상충되는 샘플 동작 식별)을 제공합니다. 이러한 프레임워크는 확장 가능한 코어셋 선택 및 효율적인 데이터셋 최적화의 길을 열어줍니다.

시사점, 한계점

시사점:
기존 코어셋 선택 방법의 계산 및 저장 오버헤드 문제를 효과적으로 해결하는 새로운 지표 LTC 제시.
다양한 아키텍처에서 우수한 성능 및 전이성을 보임. (ResNet, VGG, DenseNet, Swin Transformer)
훈련 역학에 대한 통찰력 제공.
확장 가능한 코어셋 선택 및 효율적인 데이터셋 최적화 가능성 제시.
한계점:
제시된 LTC의 성능 향상이 최첨단 방법 대비 1% 미만으로 미미할 수 있음.
다양한 아키텍처에서의 성능 저하가 2% 미만으로 여전히 존재함.
실제 대규모 데이터셋에서의 성능 및 확장성에 대한 추가적인 실험 및 분석 필요.
👍