본 연구는 유해한 프롬프트에 대한 거부를 보이는 instruction-tuned 대규모 언어 모델(LLM)의 내부 메커니즘을 이해하는 것을 목표로 한다. Gemma-2-2B-IT 및 LLaMA-3.1-8B-IT 모델을 대상으로 잔여 스트림 활성화에 훈련된 희소 오토인코더(SAE)를 사용하여, 유해 프롬프트에 대한 모델의 거부 행위를 유발하는 SAE 특징 세트를 찾았다. 3단계 파이프라인(거부 방향 탐색, 탐욕적 필터링, 상호작용 발견)을 통해 거부 행위에 결정적인 영향을 미치는 특징들을 발견하고, 이를 통해 모델의 안전 행동에 대한 기계적 기반을 파악하고자 했다. 중복된 특징의 존재를 확인했으며, 이를 통해 해석 가능한 잠재 공간을 조작하여 안전 행동에 대한 세밀한 감사와 표적 개입의 가능성을 제시했다.
