본 논문은 신경망 내 개별 뉴런이 종종 관련 없는 여러 특징들을 혼합하여 나타내는 다의미성(polysemanticity) 현상의 원인을 이해하고자 한다. 이를 위해 특징 용량(feature capacity), 즉 임베딩 공간에서 각 특징이 차지하는 차원의 비율을 이용하여 분석한다. 간단한 모델을 통해 최적의 용량 할당은 가장 중요한 특징을 단일 의미적으로(monosemantically), 덜 중요한 특징을 손실에 대한 영향에 비례하여 다의미적으로 표현하고, 가장 덜 중요한 특징은 완전히 무시하는 경향이 있음을 보였다. 다의미성은 입력의 첨도(kurtosis)나 희소성이 높을수록, 그리고 특정 아키텍처에서 더욱 두드러진다. 최적의 용량 할당을 가정하고 임베딩 공간의 기하학적 구조를 연구한 결과, 서로 다른 크기의 블록을 가진 블록-반직교(block-semi-orthogonal) 구조를 발견하여 모델 아키텍처가 뉴런의 해석 가능성에 미치는 영향을 강조하였다.
