본 논문은 대규모 언어 모델(LLM)의 잠재 활성화의 희소하고 사람이 해석 가능한 표현을 발견하는 데 성공적으로 사용된 희소 오토인코더(SAE)의 한계를 극복하기 위해, 자코비안 SAE(JSAE)를 제안합니다. JSAE는 주어진 모델 구성 요소의 입력 및 출력 활성화뿐만 아니라 이들을 연결하는 계산(형식적으로 자코비안)에서도 희소성을 생성합니다. LLM에서 자코비안을 효율적으로 계산하는 방법을 제시하며, JSAE가 기존 SAE와 유사한 수준의 LLM 성능을 유지하면서 상당한 수준의 계산 희소성을 추출함을 보여줍니다. 또한, JSAE 기반으로 재작성된 MLP가 선형 근사를 따르는 점을 통해 자코비안이 계산 희소성의 합리적인 근사치임을 입증하고, 사전 훈련된 LLM에서 무작위 LLM보다 더 높은 수준의 계산 희소성을 달성함을 보여줍니다. 이는 계산 그래프의 희소성이 LLM이 학습을 통해 습득하는 특성임을 시사하며, JSAE가 표준 SAE보다 학습된 트랜스포머 계산을 이해하는 데 더 적합할 수 있음을 제시합니다.
