본 논문은 대규모 언어 모델(LLM)의 기능적 연결성을 밝히고 이를 언어 생성 성능과 연결하는 방법인 그래프 프로빙을 소개합니다. 다양한 LLM 모델과 규모를 대상으로 실험한 결과, 신경망 토폴로지(topology)만으로 다음 토큰 예측 성능을 예측할 수 있다는 것을 발견했습니다. 특히, 신경망 토폴로지에 대한 프로빙이 활성화에 대한 프로빙보다 성능이 뛰어났으며, LLM이 이러한 토폴로지 정보를 활용한다는 증거를 제시했습니다. 이를 바탕으로 모델 가지치기, 환각 감지, LLM 지문 인식과 같은 응용 프로그램을 통해 LLM의 효율성, 신뢰성 및 안전성을 향상시킬 수 있음을 보여줍니다.
