본 논문은 독립적으로 훈련된 24개의 오픈-웨이트 대규모 언어 모델(LLM)의 활성화 벡터를 이용하여 잠재 공간의 유사성을 연구합니다. 각 모델의 여러 레이어에서 활성화 벡터 간의 최근접 이웃 관계를 분석하여, 1) 모델 내 각 레이어별 최근접 이웃 관계가 다르다는 점과, 2) 서로 다른 모델의 상응하는 레이어 간에는 최근접 이웃 관계가 유사하다는 점을 발견했습니다. 이는 LLM이 레이어별로 활성화 기하학적 구조의 진행 과정을 생성하지만, 이러한 전체 진행 과정은 모델 간에 크게 공유되고, 서로 다른 아키텍처에 맞게 늘어나거나 압축된다는 것을 시사합니다.
