본 논문은 구조화된 그래프 데이터와 노드의 풍부한 텍스트 정보를 통합하는 문제, 특히 이종친화적 노드 분류 문제에 대해 제안합니다. 기존 접근 방식은 계산 비용이 많이 들거나 상이한 모달리티를 효과적으로 융합하는 데 어려움을 겪습니다. 이를 해결하기 위해, 그래프 신경망(GNN)과 사전 훈련된 언어 모델(PLM)을 효율적으로 결합하는 새로운 아키텍처인 그래프 마스크 언어 모델(GMLM)을 제안합니다. GMLM은 세 가지 핵심 혁신을 도입합니다: (i) 확장 가능한 PLM 텍스트 처리를 위한 동적 활성 노드 선택 전략, (ii) 학습 가능한 그래프 [MASK] 토큰을 사용한 소프트 마스킹으로 강력한 구조적 표현을 위한 GNN 특정 대조적 사전 훈련 단계, (iii) RGCN 기반 GNN 임베딩과 PLM(GTE-Small & DistilBERT) 임베딩을 통합하는 전용 융합 모듈. 이종친화적 벤치마크(Cornell, Wisconsin, Texas)에 대한 광범위한 실험을 통해 GMLM의 우수성을 보여줍니다. 특히, GMLM(DistilBERT)는 기존 최고 성능 기준 모델과 비교하여 Cornell에서는 4.7% 이상, Texas에서는 2.0% 이상의 정확도 향상을 달성합니다. 이 연구는 목표 지향적인 PLM 참여 및 모달리티 특정 사전 훈련의 이점을 강조하여 텍스트가 풍부한 그래프에서 효율적인 학습 향상에 기여합니다.
