Este artículo destaca que las redes neuronales de grafos (GNN), eficaces para aprender datos con estructura de grafos, carecen de la capacidad de comprender las propiedades semánticas de los atributos de nodos de texto enriquecido. Observamos que los modelos GNN existentes no logran un buen rendimiento consistente en diversos conjuntos de datos. Para abordar esto, proponemos el modelo LensGNN, que utiliza un modelo de lenguaje a gran escala (LLM) como un conjunto de múltiples GNN. LensGNN mapea las representaciones de múltiples GNN al mismo espacio, alinea los espacios entre las GNN y los LLM mediante el ajuste fino de LoRA e inyecta tokens de grafos e información textual en el LLM. Este conjunto de múltiples GNN aprovecha las fortalezas de los LLM para profundizar en la comprensión de la semántica textual y la información estructural de grafos. Los resultados experimentales demuestran que LensGNN supera a los modelos existentes. Esta investigación avanza en el aprendizaje de conjuntos de grafos de atributos de texto al proporcionar una solución robusta y superior para integrar información semántica y estructural. El código y los datos están disponibles en GitHub.
