본 논문은 그래프 신경망(GNN)과 사전 훈련된 언어 모델(LM)을 결합한 새로운 이중 분기 아키텍처인 그래프 마스크 언어 모델(GMLM)을 제안합니다. GMLM은 그래프 토폴로지를 활용하여 구조적 중요도에 따라 노드를 선택적으로 마스킹하는 의미론적 마스킹 전략과 원래 노드 특징과 학습 가능한 마스크 토큰 간의 보간을 통해 훈련 중 정보 흐름을 원활하게 하는 소프트 마스킹 메커니즘이라는 두 가지 핵심 혁신을 도입합니다. 여러 노드 분류 및 언어 이해 벤치마크에 대한 광범위한 실험을 통해 GMLM이 최첨단 성능을 달성할 뿐만 아니라 향상된 강건성과 안정성을 보임을 보여줍니다. 이 연구는 향상된 그래프 학습을 위한 구조화된 데이터와 비구조화된 데이터 표현의 통합의 이점을 강조합니다.
