본 논문은 Transformer 기반 다중 모달 대규모 언어 모델(MLLM)인 MiniGPT-4를 사용하여 특정 지식과 관련된 뉴런을 식별하는 방법을 제안합니다. 이 방법은 inpainting을 이용한 활성화 차이 필터링과 GradCAM을 이용한 기울기 기반 필터링의 두 단계로 구성됩니다. MS COCO 2017 데이터셋을 이용한 이미지 캡션 생성 작업에 대한 실험 결과, BLEU, ROUGE, BERTScore 등의 정량적 평가와 활성화 히트맵을 이용한 정성적 평가를 통해 기존 방법보다 더 높은 정확도로 지식을 찾을 수 있음을 보여줍니다. 이는 MLLM의 지식 시각화 및 설명 가능성에 기여하며, 향후 지식 편집 및 제어의 가능성을 제시합니다.
