Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

GMLM: Bridging Graph Neural Networks and Language Models for Heterophilic Node Classification

Created by
  • Haebom

作者

Aarush Sinha

概要

この論文は、構造化グラフデータとノードの豊富なテキスト情報を統合する問題、特に異種親和性ノード分類の問題について説明します。従来のアプローチでは、計算コストが高くなるか、異なるモダリティを効果的に融合することが困難である。この論文では、グラフニューラルネットワーク(GNN)と事前訓練された言語モデル(PLM)を効率的に組み合わせる新しいアーキテクチャであるグラフマスク言語モデル(GMLM)を提案します。 GMLMは、(i)拡張可能なPLMテキスト処理のための動的アクティブノード選択戦略、(ii)学習可能なグラフ[MASK]トークンを使用したソフトマスキングを使用したGNN特化対照的な事前トレーニング段階、(iii)RGCNベースのGNN埋め込みとPLM(GTE-Small&DistilBERT)埋め込みを統合する専用の融合モジュール。異種親和性ベンチマーク(Cornell、Wisconsin、Texas)の広範な実験を通して、GMLMの卓越性を実証しています。特に、GMLM(DistilBERT)は、従来の最高性能基準モデルと比較して、Cornellでは4.7%以上、Texasでは2.0%以上の精度が向上する大幅な性能向上を達成しています。この研究は、テキスト豊富なグラフで効率的かつ改善された学習のための目標指向のPLM参加とモダリティに特化した事前訓練の利点を強調しています。

Takeaways、Limitations

Takeaways:
GNNとPLMを効果的に統合し、異種親和性ノード分類問題で優れた性能を達成する新しいアーキテクチャ(GMLM)の提示。
動的アクティブノード選択戦略、GNN特化対照的事前トレーニング、専用融合モジュールを介して計算コストを削減し、さまざまなモダリティを効果的に融合。
CornellおよびTexasデータセットでは、従来の最高性能基準モデルと比較して大幅なパフォーマンス向上(4.7%および2.0%以上)が見られました。
目標指向のPLM参加とモダリティ特化事前訓練の重要性を強調
Limitations:
提示されたモデルの一般化性能に関するさらなる研究が必要である。
他の種類のグラフデータまたはノード分類の問題に対する適用性とパフォーマンス評価が必要です。
Wisconsinデータセットのパフォーマンス向上の数値は明示的に示されていません。
使用された特定のPLM(GTE-Small&DistilBERT)以外の他のPLMの性能比較分析の欠如。
👍