본 논문은 텍스트가 풍부한 이질적 그래프에서 계산 비용이 많이 드는 사전 훈련된 언어 모델(PLM)과 그래프 신경망(GNN)을 효율적이고 효과적으로 통합하는 방법을 제시합니다. Graph Masked Language Model (GMLM)이라는 프레임워크를 제안하며, 이는 소프트 마스킹 기법을 사용한 대조적 사전 훈련 단계와 동적 활성 노드 선택 전략 및 양방향 교차 어텐션 모듈을 사용하는 엔드-투-엔드 미세 조정 단계의 두 단계로 구성됩니다. 다섯 개의 이질적 벤치마크에 대한 실험 결과, GMLM은 네 개의 벤치마크에서 최첨단 성능을 달성하였으며, 기존 GNN 및 대규모 LLM 기반 방법을 크게 능가함을 보여줍니다. 예를 들어, Texas 데이터셋에서는 정확도를 8% 이상, Wisconsin 데이터셋에서는 거의 5% 향상시켰습니다. 이 연구는 정교하고 깊이 통합된 아키텍처가 텍스트가 풍부한 그래프 표현 학습에 있어 더 크고 범용적인 모델보다 더 효과적이고 효율적일 수 있음을 보여줍니다.
