Este documento tiene como objetivo mejorar la calidad del proceso de conversión de preguntas de lenguaje natural en consultas SPARQL (construcción de consultas) en un sistema de respuesta a preguntas de grafos de conocimiento (KGQA) utilizando un modelo de lenguaje a gran escala (LLM). Los sistemas KGQA basados en LLM existentes tienen una limitación en el sentido de que no pueden saber si los datos de entrenamiento de LLM incluyen puntos de referencia o grafos de conocimiento. Por lo tanto, en este documento, presentamos una nueva metodología para evaluar la calidad de la generación de consultas SPARQL de LLM bajo varias condiciones, como (1) generación de SPARQL de disparo cero, (2) inyección de conocimiento y (3) inyección de conocimiento anonimizado. A través de esto, estimamos por primera vez el impacto de los datos de entrenamiento de LLM en la mejora de la calidad de QA y evaluamos la generalización del método distinguiendo entre el rendimiento real de LLM y el efecto de la memorización de los datos de entrenamiento. El método propuesto es portátil y robusto, y se puede aplicar a varios grafos de conocimiento, proporcionando información consistente.
