본 논문은 대규모 언어 모델(LLM)이 이산적이고 그래프 구조의 지식을 인코딩하기 위해 보편적인 기하학적 구조를 사용하는지 여부를 해석 가능성과 신뢰성을 바탕으로 조사한다. 이를 위해, 그래프 표현의 보편성을 뒷받침할 수 있는 두 가지 상호 보완적인 실험적 증거를 제시한다. 첫째, 문맥 내 계보 Q&A 작업에서 잔여 스트림 활성화에서 트리와 유사한 부분 공간을 분리하기 위해 콘 프로브를 훈련하고 활성화 패칭을 사용하여 관련 질문에 답하는 데 있어 인과적 효과를 검증했다. 다섯 가지 다른 모델에서 발견 사항을 검증했다. 둘째, 다양한 아키텍처와 파라미터 수(OPT, Pythia, Mistral, LLaMA, 4억 1천만에서 80억 개 파라미터)의 모델 간 모델 스티칭 실험을 수행하여 다음 토큰 예측 손실의 상대적 저하를 통해 표현 정렬을 정량화했다. 일반적으로, 그래프의 실제 표현이 없다는 사실은 LLM이 이를 어떻게 표현하는지 연구하는 것을 어렵게 만든다는 결론을 내렸다. 궁극적으로 LLM 표현에 대한 이해를 개선하면 더 해석 가능하고, 견고하며 제어 가능한 AI 시스템 개발을 촉진할 수 있다.
