본 논문은 독립적으로 훈련된 24개의 오픈-웨이트 대규모 언어 모델(LLM)의 활성화를 통해 유도된 최근접 이웃 관계를 연구합니다. 각 모델 내 여러 레이어에서 최근접 이웃 관계가 다르게 나타나며(Claim 1), 서로 다른 모델의 상응하는 레이어 간에는 최근접 이웃 관계가 공유되는 경향이 있음을 발견했습니다(Claim 2). 이는 LLM이 레이어별로 활성화 기하학의 진행 과정을 생성하지만, 이러한 전체 진행 과정은 모델 간에 크게 공유되고, 서로 다른 아키텍처에 맞게 늘어나거나 압축된다는 것을 시사합니다.
