Not All Instances Are Equally Valuable: Towards Influence-Weighted Dataset Distillation
Created by
- Haebom
Category
Empty
저자
Qiyan Deng, Changqian Zheng, Lianpeng Qiao, Yuping Wang, Chengliang Chai, Lei Cao
개요
본 논문은 대규모 데이터셋을 합성 부분 집합으로 축약하는 데이터셋 증류(Dataset Distillation) 기법을 소개하며, 저장 공간과 계산 비용을 절감하면서도 전체 데이터셋으로 학습한 것과 유사한 성능을 달성하는 것을 목표로 한다. 특히, 데이터 품질을 고려하지 않고 전체 데이터셋을 증류하는 경우 모델 성능이 저하될 수 있다는 문제점을 지적하며, 영향력 함수(Influence Functions)를 활용하여 각 데이터 샘플의 데이터 품질을 평가하고, 이를 기반으로 가중치를 부여하는 "영향력 가중 증류(Influence-Weighted Distillation, IWD)" 프레임워크를 제안한다. IWD는 유익한 데이터를 우선시하고 덜 유용하거나 해로운 데이터를 가중치를 낮춤으로써, 다양한 데이터셋 증류 프레임워크에 쉽게 통합될 수 있도록 설계되었다.
시사점, 한계점
•
시사점:
◦
데이터 품질을 고려한 증류 방식을 통해 증류된 데이터셋의 품질 및 모델 성능 향상 가능성을 제시.
◦
영향력 함수를 활용하여 데이터 샘플의 중요도를 평가하는 새로운 접근 방식 제시.
◦
다양한 데이터셋 증류 프레임워크에 쉽게 통합될 수 있는 모듈형 설계.
◦
최대 7.8%의 정확도 향상과 같은 긍정적인 실험 결과 제시.
•
한계점:
◦
영향력 함수 계산의 복잡성 및 계산 비용에 대한 언급 부재.
◦
IWD가 적용 가능한 데이터셋 증류 프레임워크의 구체적인 범위 제시 부족.
◦
데이터 품질 평가에 사용된 영향력 함수의 세부 설정 및 파라미터에 대한 설명 부족.
◦
해로운 데이터의 정의와 식별 방법에 대한 추가적인 설명 필요.
