언어 모델에서 인간이 이해할 수 있는 회로를 찾는 것은 기계론적 해석 가능성 분야의 핵심 목표입니다. 본 연구에서는 각 뉴런이 소수의 연결만 갖도록 대부분의 가중치를 0으로 제한하여 더 이해하기 쉬운 회로를 가진 모델을 훈련합니다. 여러 수작업으로 제작된 작업 각각의 기본이 되는 세부 회로를 복구하기 위해, 우리는 해당 작업을 담당하는 부분을 분리하기 위해 모델을 가지치기합니다. 이러한 회로는 종종 자연 개념에 해당하는 뉴런과 잔여 채널을 포함하며, 이들 사이에 소수의 이해하기 쉬운 연결을 갖습니다. 우리는 이러한 모델이 어떻게 확장되는지 연구하고, 가중치를 더 희소하게 만드는 것이 해석 가능성을 위해 성능을 절충한다는 것을 발견했으며, 모델 크기를 확장하면 성능-해석 가능성 경계가 개선된다는 것을 확인했습니다. 그러나 해석 가능성을 유지하면서 수천만 개 이상의 0이 아닌 매개변수를 가진 희소 모델을 확장하는 것은 여전히 과제로 남아 있습니다. 처음부터 가중치-희소 모델을 훈련하는 것 외에도, 우리는 우리의 방법이 기존의 밀집 모델을 설명하는 데에도 적용될 수 있음을 시사하는 예비 결과를 보여줍니다. 우리의 연구는 전례 없는 수준의 인간 이해도를 달성하는 회로를 생성하고 상당한 엄격함으로 이를 검증합니다.
