본 논문은 대규모 언어 모델(LLM)의 내부 메커니즘을 이해하기 위한 유망한 방법으로서 스파스 오토인코더(SAE)를 포괄적으로 조사합니다. SAE의 원리, 아키텍처, 특히 LLM 분석에 맞춰진 애플리케이션을 이론적 기반, 구현 전략, 최근의 스파스 메커니즘 발전을 포함하여 체계적으로 개괄합니다. 또한 SAE를 활용하여 LLM의 내부 작동 방식을 설명하고, 모델의 행동을 원하는 방향으로 유도하며, 미래 모델을 위한 보다 투명한 훈련 방법론을 개발하는 방법을 탐구합니다. SAE 구현 및 확장에 여전히 남아있는 어려움에도 불구하고, SAE는 LLM의 내부 메커니즘을 이해하는 데 귀중한 도구를 제공합니다.
