この論文は、構造化グラフデータとノードの豊富なテキスト情報を統合する問題、特に異種親和性ノード分類の問題について説明します。従来のアプローチでは、計算コストが高くなるか、異なるモダリティを効果的に融合することが困難である。この論文では、グラフニューラルネットワーク（GNN）と事前訓練された言語モデル（PLM）を効率的に組み合わせる新しいアーキテクチャであるグラフマスク言語モデル（GMLM）を提案します。 GMLMは、（i）拡張可能なPLMテキスト処理のための動的アクティブノード選択戦略、（ii）学習可能なグラフ[MASK]トークンを使用したソフトマスキングを使用したGNN特化対照的な事前トレーニング段階、（iii）RGCNベースのGNN埋め込みとPLM（GTE-Small＆DistilBERT）埋め込みを統合する専用の融合モジュール。異種親和性ベンチマーク（Cornell、Wisconsin、Texas）の広範な実験を通して、GMLMの卓越性を実証しています。特に、GMLM（DistilBERT）は、従来の最高性能基準モデルと比較して、Cornellでは4.7％以上、Texasでは2.0％以上の精度が向上する大幅な性能向上を達成しています。この研究は、テキスト豊富なグラフで効率的かつ改善された学習のための目標指向のPLM参加とモダリティに特化した事前訓練の利点を強調しています。
