본 논문은 독립적으로 학습된 대규모 언어 모델(LLM)들이 사용하는 잠재 공간의 상관관계를 연구합니다. 24개의 공개 가중치 LLM의 여러 레이어에서 활성화된 뉴런들을 기반으로 최근접 이웃 관계를 분석하여, 1) 각 모델 내에서 레이어별 최근접 이웃 관계가 다르다는 점과, 2) 서로 다른 모델의 해당 레이어 간에는 최근접 이웃 관계가 거의 공유된다는 점을 발견했습니다. 2번째 주장은 최근접 이웃 관계가 모델 간에 공유되므로 임의적이지 않다는 것을 시사하지만, 1번째 주장은 모델 간에 보편적으로 공유되는 단일 최근접 이웃 관계 집합이 없으므로 이 관계가 "명백하지" 않다는 점을 보여줍니다. 결론적으로, LLM은 레이어별로 활성화 기하학의 진행 과정을 생성하지만, 이 전체 과정은 서로 다른 아키텍처에 맞게 늘어나고 압축되더라도 모델 간에 크게 공유된다는 것을 시사합니다.
