Faithful and Fast Influence Function via Advanced Sampling
Created by
- Haebom
Category
Empty
저자
Jungyeon Koh, Hyeonsu Lyu, Jonggyu Jang, Hyun Jong Yang
개요
본 논문은 블랙 박스 모델에 대한 훈련 데이터의 영향을 설명하는 방법을 연구한다. 특히, 자원 소모적인 Hessian 계산 없이 영향 함수(IF)를 효율적으로 추정하기 위해, 특징 및 로짓을 기반으로 한 두 가지 고급 샘플링 기술을 제안한다. 이 기술들은 전체 데이터셋의 작지만 대표적인 하위 집합을 선택하여 IF 추정의 정확성을 향상시킨다. 제안된 방법은 클래스 제거 실험을 통해 검증되었으며, 기존 방법 대비 계산 시간과 메모리 사용량을 절감하거나 F1-score를 향상시키는 결과를 보였다.
시사점, 한계점
•
시사점:
◦
Hessian 계산의 어려움을 해결하기 위해 특징 및 로짓 기반의 효율적인 샘플링 기술을 제안.
◦
IF 추정의 정확성을 향상시켜 블랙 박스 모델 분석의 효율성을 높임.
◦
클래스 제거 실험을 통해 방법론의 유효성을 검증하고, F1-score 향상을 통해 모델의 잊어버리는 능력과 추론 일관성을 개선.
◦
기존 방법 대비 계산 시간 및 메모리 사용량 절감 효과를 보임.
•
한계점:
◦
특징 및 로짓 기반 샘플링 기법의 성능은 데이터셋 및 모델 구조에 따라 달라질 수 있음.
◦
다른 IF 응용 분야에 대한 추가적인 실험 및 검증 필요.
◦
실제 사용 환경에서의 일반화 가능성에 대한 추가 연구 필요.
