본 논문은 기존 희소 자동 인코더(SAE)의 초매개변수 $k$ 선택에 대한 이론적 근거 부족 문제를 해결하기 위해, 선형 표현 가설(LRH)과 중첩 가설(SH)에 기반하여 희소 특징 벡터의 크기를 근사하는 방법을 제시합니다. LLM의 밀집 임베딩에 대한 SAE의 잠재 표현(희소 특징 벡터)의 크기를 밀집 벡터를 이용하여 오차 경계 내에서 근사할 수 있음을 보이고, 이를 시각화하기 위한 ZF 플롯을 제안합니다. 또한, 근사 특징 활성화(AFA)를 도입하여 입력과 활성화 간의 정렬을 평가하는 새로운 평가 지표를 제시하고, AFA를 활용하여 초매개변수 $k$ 조정이 필요 없는 새로운 SAE 아키텍처인 top-AFA SAE를 제안합니다. 실험 결과, top-AFA SAE는 최첨단 top-k SAE와 비슷한 재구성 손실을 달성함을 보여줍니다.
