본 논문은 그래프 구조 데이터 학습에 강력한 모델로 떠오른 그래프 신경망(GNN)의 한계점을 해결하기 위해 대규모 언어 모델(LLM)을 활용한 새로운 모델, LensGNN을 제안합니다. 기존 GNN들은 풍부한 텍스트 노드 속성에 대한 의미론적 이해 능력이 부족하다는 한계를 가지고 있으며, 다양한 데이터셋에서 특정 GNN이 일관되게 우수한 성능을 보이지 못하는 현상을 관찰했습니다. LensGNN은 여러 GNN의 표현을 동일한 공간으로 매핑하여 정렬한 후, LoRA 미세 조정을 통해 GNN과 LLM 간의 공간을 정렬합니다. 그래프 토큰과 텍스트 정보를 LLM에 주입하여 여러 GNN을 앙상블하고 LLM의 강점을 활용함으로써 텍스트 의미 정보와 그래프 구조 정보에 대한 더 깊은 이해를 가능하게 합니다. 실험 결과, LensGNN은 기존 모델들을 능가하는 성능을 보였으며, 의미 및 구조 정보 통합을 위한 강력하고 우수한 솔루션을 제공하여 텍스트 속성 그래프 앙상블 학습을 발전시켰습니다.
