본 논문은 대규모 언어 모델(LLM)을 활용한 지식 그래프 질의응답(KGQA) 시스템에서 자연어 질문을 SPARQL 쿼리로 변환하는 과정(Query Building)의 질 향상을 목표로 한다. 기존 LLM 기반 KGQA 시스템은 LLM의 학습 데이터에 벤치마크나 지식 그래프가 포함되었는지 여부를 알 수 없다는 한계를 지닌다. 따라서 본 논문에서는 (1) 제로샷 SPARQL 생성, (2) 지식 주입, (3) 익명화된 지식 주입 등 다양한 조건 하에서 LLM의 SPARQL 쿼리 생성 품질을 평가하는 새로운 방법론을 제시한다. 이를 통해 LLM의 학습 데이터가 QA 품질 향상에 미치는 영향을 최초로 추정하고, LLM의 실제 성능과 학습 데이터 암기 효과(memorization)를 구분하여 방법의 일반화 가능성을 평가한다. 제시된 방법은 이식성과 견고성을 갖추고 있으며, 다양한 지식 그래프에 적용 가능하여 일관된 통찰력을 제공한다.
