본 논문은 대규모 언어 모델(LLM)의 지식 인코딩을 체계적으로 측정하고 정리하는 데 초점을 맞추고 있다. 특히, GPTKB 방법론과 같은 재귀적 추출 방식을 통해 LLM의 지식을 구조화된 형식으로 변환하는 연구의 미흡함을 지적하고, 이러한 추출 과정의 종료 여부, 재현 가능성, 그리고 변동에 대한 강건성을 분석한다. miniGPTKB(도메인별, 다루기 쉬운 하위 크롤링)를 활용하여, 종료율, 재현성, 그리고 세 가지 범주의 지표(수확량, 어휘 유사성, 의미 유사성)를 측정한다. 연구는 4가지 변형(시드, 언어, 무작위성, 모델)과 3가지 대표 도메인(역사, 엔터테인먼트, 금융)을 대상으로 진행되었다.
