본 논문은 대규모 언어 모델(LLM)의 내부 활성화를 사람이 해석할 수 있는 개념 표현으로 매핑하는 데 일반적으로 사용되는 희소 자동 인코더(SAE)의 강건성을 평가합니다. 기존의 SAE 평가는 재구성-희소성 절충, 사람의 (자동) 해석 가능성 및 특징 분리와 같은 지표에 초점을 맞추지만, 개념 표현의 입력 섭동에 대한 강건성이라는 중요한 측면을 간과합니다. 본 논문에서는 개념 표현의 강건성을 입력 공간 최적화 문제로 공식화하고, 적대적 섭동을 만들어 SAE 표현을 조작하는 현실적인 시나리오를 특징으로 하는 포괄적인 평가 프레임워크를 개발합니다. 실험적으로, 작은 적대적 입력 섭동이 기본 LLM의 출력 자체에는 큰 영향을 미치지 않으면서도 대부분의 시나리오에서 개념 기반 해석을 효과적으로 조작할 수 있음을 발견했습니다. 전반적으로, 연구 결과는 SAE 개념 표현이 취약하며 모델 모니터링 및 감독 응용 프로그램에는 적합하지 않을 수 있음을 시사합니다.
