Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Can Large Language Models Act as Ensembler for Multi-GNNs?

Created by
  • Haebom

作者

Hanqi Duan, Yao Cheng, Jianxiang Yu, Yao Liu, Xiang Li

概要

本論文は、グラフ構造データ学習に強力なモデルとして浮上したグラフニューラルネットワーク(GNN)のLimitationsを解決するために、大規模言語モデル(LLM)を活用した新しいモデル、LensGNNを提案します。既存のGNNは、豊富なテキストノード属性の意味論的理解能力が不足しているという限界を持っており、さまざまなデータセットで特定のGNNが一貫して優れたパフォーマンスを示さないという現象を観察しました。 LensGNNは、複数のGNNの表現を同じ空間にマッピングしてソートした後、LoRA微調整を介してGNNとLLMの間の空間を整列します。グラフトークンとテキスト情報をLLMに注入して複数のGNNをアンサンブルし、LLMの強みを活用することで、テキスト意味情報とグラフ構造情報のより深い理解を可能にします。実験の結果、LensGNNは既存のモデルを上回る性能を示し、意味と構造情報を統合するための強力で優れたソリューションを提供し、テキスト属性グラフのアンサンブル学習を進めました。

Takeaways、Limitations

Takeaways:
LLMを活用して様々なGNNの性能を向上させる新しい方法を提示
テキスト意味情報とグラフ構造情報を効果的に統合するモデルの開発
既存のGNNモデルの限界を克服し、パフォーマンスを向上させることに成功
テキスト属性グラフ アンサンブル学習分野の発展に貢献
Limitations:
本論文で提示されたLensGNNの一般化性能に関するさらなる研究が必要
さまざまな種類のグラフデータセットの実験結果がさらに必要
LLMの計算コストとリソース消費の検討が必要
LoRA微調整プロセスの最適化とパラメータ設定に関するさらなる研究が必要
👍