본 논문은 대규모 언어 모델(LLM)의 내부 표상을 이해하고 해석하는 어려움을 해결하기 위해, 패치스코프(Patchscopes) 기법을 개선한 슈퍼스코프(Superscopes) 기법을 제안합니다. 슈퍼스코프는 다층 퍼셉트론(MLP) 출력과 은닉 상태에서 중첩된 특징들을 체계적으로 증폭한 후 새로운 프롬프트에 패치하여 모델이 스스로 내부 표상을 설명하도록 유도합니다. 확산 모델의 분류자 없는 안내(CFG) 접근 방식에서 영감을 얻어 약하지만 의미 있는 특징들을 증폭시켜, 기존 방법으로는 해석할 수 없었던 내부 표상을 해석할 수 있도록 합니다. 추가적인 훈련 없이 LLM이 맥락을 구축하고 복잡한 개념을 표현하는 방식에 대한 새로운 통찰력을 제공하여 기계적 해석 가능성을 더욱 발전시킵니다.
