본 논문은 Vision Transformer 모델의 작동 방식을 이해하기 위한 새로운 방법론을 제시합니다. 기존 연구들이 입력 특징이나 뉴런 역할 분석에 집중한 것과 달리, 본 논문은 모델 입력부터 출력까지의 뉴런 경로 전체를 고려하여 정보 흐름을 분석합니다. 특히, 모델 추론에 가장 큰 영향을 미치는 '중요 뉴런 경로'를 찾는 데 초점을 맞춥니다. 이를 위해, 뉴런 집합의 기여도를 평가하는 새로운 영향력 측정 방식과 각 계층에서 가장 중요한 뉴런을 효율적으로 선택하는 계층적 뉴런 위치 찾기 방법을 제안합니다. 실험 결과, 제안된 방법이 기존 방법보다 중요 뉴런 경로를 더 효과적으로 찾는다는 것을 보여주며, 같은 이미지 카테고리 내에서 Vision Transformer가 시각 정보를 처리하는 특정 내부 작동 메커니즘을 밝힙니다. 또한, 발견된 중요 뉴런 경로가 모델의 성능을 유지하면서 모델 경량화와 같은 실제 응용 분야에 활용될 수 있음을 시사합니다. 코드는 https://foundation-model-research.github.io/NeuronPath/ 에서 확인할 수 있습니다.
