Este artículo propone LensGNN, un modelo novedoso que aprovecha un modelo de lenguaje a gran escala (LLM) para abordar el desafío Limitations de las redes neuronales de grafos (GNN), que se han consolidado como modelos potentes para el aprendizaje de datos con estructura de grafos. Las GNN existentes presentan limitaciones debido a su incapacidad para comprender la semántica de los atributos de nodos de texto enriquecido, y observamos que una GNN específica no ofrece un rendimiento consistente en diversos conjuntos de datos. LensGNN alinea las representaciones de múltiples GNN mapeándolas al mismo espacio y, posteriormente, alinea el espacio entre las GNN y los LLM mediante el ajuste fino de LoRA. Al inyectar tokens de grafos e información de texto en el LLM, se agrupan múltiples GNN y se aprovechan las fortalezas del LLM, lo que permite una comprensión más profunda de la semántica del texto y la información de la estructura del grafo. Los resultados experimentales demuestran que LensGNN supera a los modelos existentes, proporcionando una solución potente y superior para integrar información semántica y estructural, impulsando el aprendizaje de conjuntos de grafos de atributos de texto.
