GraSS: Scalable Influence Function with Sparse Gradient Compression
Created by
Haebom
저자
Pingbang Hu, Joseph Melkonian, Weijing Tang, Han Zhao, Jiaqi W. Ma
개요
본 논문은 기울기 기반 데이터 귀속 방법(예: 영향 함수)의 확장성 문제를 해결하기 위해 새로운 기울기 압축 알고리즘인 GraSS와 선형 계층에 특화된 FactGraSS를 제안합니다. GraSS는 개별 샘플 기울기의 고유한 희소성을 활용하여 하위 선형의 공간 및 시간 복잡도를 달성합니다. 실험 결과, GraSS는 기존 최첨단 기법에 비해 속도 향상을 달성하면서 데이터 영향의 정확성을 유지하는 것으로 나타났습니다. 특히 FactGraSS는 10억 규모의 모델에서 최대 165%의 처리량 향상을 보였습니다. 소스 코드는 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
기울기 기반 데이터 귀속 방법의 확장성 문제를 효과적으로 해결하는 새로운 알고리즘 GraSS 및 FactGraSS 제시.
◦
10억 규모의 모델에서도 상당한 속도 향상 달성 (FactGraSS 최대 165% 향상).
◦
데이터 영향의 정확성 유지.
◦
공개된 소스 코드를 통해 재현성 및 활용성 증대.
•
한계점:
◦
GraSS 및 FactGraSS의 성능은 개별 샘플 기울기의 희소성에 의존적일 수 있음. 희소성이 낮은 경우 성능 향상이 제한적일 수 있음.
◦
제시된 알고리즘의 효율성은 특정 모델 아키텍처 및 데이터셋에 따라 달라질 수 있음. 일반화 성능에 대한 추가 연구 필요.
◦
논문에서 제시된 실험 결과가 특정 규모의 모델과 데이터셋에 한정되어 있으므로, 다양한 환경에서의 성능 평가가 필요함.
