En este artículo, proponemos un enfoque KB-VQA basado en la generación de aumento de recuperación (RAG) que utiliza bases de conocimiento (KB) externas para abordar el problema de que los modelos de lenguaje grande multimodal (MLLM) de vanguardia tienen dificultades para acceder a conocimiento específico del dominio o actualizado en tareas de respuesta visual a preguntas (VQA). Para abordar el problema de la pérdida de información de imagen en las técnicas de recuperación unimodal existentes, proponemos un marco de generación de aumento de recuperación de unidades de conocimiento (KU-RAG) que construye estructuralmente unidades de conocimiento de grano fino compuestas por diversas formas de fragmentos de datos multimodales, como fragmentos de texto e imágenes de objetos, y las integra con MLLM. KU-RAG garantiza la recuperación precisa del conocimiento relevante y mejora la capacidad de inferencia mediante cadenas de modificación del conocimiento. Los resultados experimentales muestran que el método propuesto supera a los métodos KB-VQA existentes en un promedio del 3% y hasta un 11% en cuatro puntos de referencia.
