대규모 언어 모델(LLM)이 텍스트 내 지식의 기본 구성 요소인 개체를 내부적으로 어떻게 표현하는지 연구하는 새로운 프레임워크를 제시합니다. 기존 연구는 명시적인 관계에 초점을 맞췄지만, 개체 자체의 표현에 대한 연구는 부족했습니다. 본 논문에서는 _Entity mention reconstruction_이라는 새로운 프레임워크를 도입하여 LLM이 개체를 인코딩하고 조작하는 방식을 연구합니다. 특히, 내부 표현에서 개체 언급을 생성할 수 있는지, 여러 토큰으로 구성된 개체가 마지막 토큰 임베딩을 넘어 어떻게 인코딩되는지, 그리고 이러한 표현이 관계적 지식을 포착하는지 조사합니다. _task vectors_를 활용하는 제안된 방법은 LLM의 hidden state에서 파생된 다양한 개체 표현으로부터 일관성 있게 여러 토큰으로 구성된 언급을 생성할 수 있게 합니다. 따라서 _logit-lens_를 확장하여 여러 토큰 언급을 예측하는 _Entity Lens_를 도입합니다. 훈련 중에 보지 못한 개체를 포함하여 LLM이 모든 여러 토큰 개체를 표현하고 조작하기 위해 개체별 메커니즘을 개발한다는 새로운 증거를 제시합니다.
