본 논문은 거대 언어 모델(LLM)과 생성적 적대 신경망(GAN)과 같이 수십억 개의 파라미터를 가진 신경망의 출력에 각 뉴런이 어떻게 기여하는지에 대한 설명 가능한 AI(XAI) 방법을 제시합니다. 기존의 XAI 방법들은 입력에 대한 중요도를 부여하지만, 수천 개의 출력 픽셀, 토큰 또는 로짓에 걸쳐 뉴런의 기여도를 정량화할 수 없습니다. 이 논문에서는 모델-애그노스틱 게임 이론적 프레임워크인 다중섭동 섀플리 값 분석(MSA)을 제시하여 이러한 문제를 해결합니다. MSA는 뉴런의 조합을 체계적으로 제거하여 모델 출력과 동일한 차원을 갖는 단위별 기여도 맵인 섀플리 모드를 생성합니다. 다층 퍼셉트론부터 560억 파라미터의 Mixtral-8x7B 및 GAN까지 다양한 규모의 모델에 MSA를 적용하여 정규화가 소수의 허브에 계산을 집중시키는 방식, LLM 내의 언어 특정 전문가, GAN에서 역전된 픽셀 생성 계층 구조를 보여줍니다. 이러한 결과는 MSA가 심층 신경망을 해석, 편집 및 압축하기 위한 강력한 접근 방식임을 보여줍니다.
