본 논문은 대규모 언어 모델(LLM)이 사전 훈련 중에 지식 그래프를 인코딩하는 토큰 시퀀스를 어떻게 내면화하고 추론 시에 활용하는지를 공식화하고 측정하기 위해 '원형 지식(protoknowledge)' 개념을 제시합니다. LLM이 사전 훈련 중 방대한 양의 토큰 시퀀스를 기억하는 능력을 보여주었고, 이 기억을 일반화를 통한 재사용 가능한 지식으로 어떻게 활용하는지가 중심적인 미해결 문제입니다. 논문에서는 어떤 유형의 지식을 활성화해야 하는지에 따라 원형 지식을 어휘적, 계층적, 위상적 형태로 분류하고, 지식 활성화 작업(KATs)을 통해 원형 지식을 측정하여 의미론적 편향과 같은 일반적인 특성을 분석합니다. 또한 입력 조건에 따라 프롬프팅 전략을 다양하게 하여 원형 지식이 텍스트-SPARQL 성능에 미치는 영향을 조사합니다. 이를 위해 모델 예측이 각 쿼리에 대한 관련 원형 지식의 성공적인 활성화와 일치하는지 평가하는 새로운 분석 프레임워크를 채택합니다. 이 방법론은 의미 수준 데이터 오염을 탐색하는 실용적인 도구를 제공하고 폐쇄형 사전 훈련 모델에 대한 효과적인 전략으로 작용합니다.
