본 논문은 신경망의 작동 원리를 밝히는 기계적 해석 가능성(mechanistic interpretability)에 초점을 맞추고 있습니다. 특히, 신경망이 어떤 고차원 알고리즘을 구현하는지 밝히는 것을 목표로, 인과 추상화(causal abstraction) 개념을 활용합니다. 기존의 접근 방식은 신경망을 단일 고차원 알고리즘으로 완벽하게 설명하는 데 어려움이 있었기에, 본 논문에서는 여러 개의 단순한 고차원 모델을 결합하여 신경망을 더욱 정확하게 표현하는 방법을 제시합니다. 이를 통해 입력에 따라 다른 계산 상태에 있는 신경망을 모델링하고, GPT-2-small 모델을 이용한 실험 결과를 통해 제안된 방법의 효과를 검증합니다. 또한, 해석 가능성 가설의 강도(설명 가능한 입력의 수)와 신뢰도(상호 교환 개입 정확도) 사이의 상충 관계를 분석하고, 신뢰도 수준에 따라 가장 정확한 모델 조합을 찾는 방법을 제시합니다.
