본 논문은 대규모 언어 모델(LLM) 내부에 어떻게 의미론적 지식이 인코딩되는지 이해하기 위해 학습된 개념을 조사하는 방법을 제시합니다. 기존의 선형 분류기를 이용한 개념 벡터 추출 방식의 한계점(데이터 및 훈련에 따라 개념 벡터가 변동)을 해결하기 위해, 특정 개념을 나타내는 부분 공간을 근사하는 방법인 Gaussian Concept Subspace (GCS)를 제안합니다. GCS는 선형 탐침 분류기를 기반으로 개념 벡터를 가우시안 분포로 확장하여, 다양한 크기와 아키텍처의 LLM에서의 신뢰성과 타당성을 향상시킵니다. 감정 조절과 같은 실제 응용 분야에서의 효과를 보여주는 표상 개입 작업을 통해 GCS의 효용성을 입증하며, 자연어 생성 작업에서 조절 성능과 유창성을 균형 있게 유지할 수 있음을 실험 결과를 통해 보여줍니다.
