Accumulative SGD Influence Estimation for Data Attribution
Created by
- Haebom
Category
Empty
저자
Yunxiao Shi, Shuo Yang, Yixin Su, Rui Zhang, Min Xu
개요
본 논문은 현대 데이터 중심 AI에서 중요한 개별 샘플 영향력 추정을 위해, 기존 SGD-IE의 한계를 극복하는 ACC-SGD-IE를 제안합니다. ACC-SGD-IE는 훈련 전반에 걸쳐 leave-one-out 변화를 전파하고 각 단계에서 누적 영향 상태를 업데이트하는 궤적 인식 추정기입니다. 이는 매끄러운 강볼록 설정에서 기하학적 오차 수축을 달성하고, 매끄러운 비볼록 설정에서 오차 경계를 개선합니다. 실험 결과, ACC-SGD-IE는 다양한 데이터셋과 학습 환경에서 더 정확한 영향력 추정 결과를 보이며, 특히 긴 에폭에서 두드러집니다. 또한, 데이터 정제 작업에서 노이즈 샘플을 더 신뢰성 있게 식별하여, ACC-SGD-IE로 정제된 데이터를 사용하여 학습된 모델이 기존 SGD-IE보다 우수한 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
ACC-SGD-IE는 기존 SGD-IE보다 정확한 개별 샘플 영향력 추정 능력을 제공합니다.
◦
ACC-SGD-IE는 데이터 정제 작업에서 노이즈 샘플 식별 능력을 향상시킵니다.
◦
ACC-SGD-IE를 통해 학습된 모델은 데이터 정제 후 향상된 성능을 보입니다.
◦
이론적 보장 (오차 경계 개선, 기하학적 오차 수축).
•
한계점:
◦
논문에서 구체적인 한계점에 대한 언급은 없음.
