본 논문은 대규모 언어 모델(LLM)의 의사 결정을 이해하고 대규모 데이터 세트를 감사하기 위해 훈련 샘플이 미치는 영향을 파악하는 데 중점을 둡니다. 기존의 영향력 추정 방법은 모델의 기울기 정보를 활용하지만, 모델 규모가 커짐에 따라 계산 효율성을 위해 일부 레이어에 국한됩니다. Yeh et al. (2022)의 연구에서는 첫 번째 (임베딩) 레이어가 가장 유용한 것으로 결론지었지만, 본 연구에서는 이러한 결론의 신뢰성을 문제 삼고, 중간 어텐션 레이어가 더 나은 추정치임을 보입니다. 또한, 레이어별 영향력 점수를 집계하는 새로운 방법과 모델 재훈련 없이 영향력 점수의 효과를 평가하는 새로운 지표(Noise Detection Rate, NDR)를 제안합니다. 실험 결과, 기존의 지식과 달리 첫 번째 레이어가 LLM 영향력 추정에 항상 더 좋은 것은 아님을 확인했습니다.
