Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Can Large Language Models Act as Ensembler for Multi-GNNs?

Created by
  • Haebom

作者

Hanqi Duan, Yao Cheng, Jianxiang Yu, Yao Liu, Xiang Li

概要

本論文は、グラフ構造データ学習に有効なグラフニューラルネットワーク（GNN）が豊富なテキストノード属性の意味的理解能力が不足していることに注目します。既存のGNNモデルがさまざまなデータセットで一貫して優れた性能を示さないという現象を観察し、これを解決するために大規模言語モデル（LLM）を複数のGNNのアンサンブラとして活用するLensGNNモデルを提案します。 LensGNNは複数のGNNの表現を同じ空間にマッピングした後、LoRAファインチューニングを介してGNNとLLMの間の空間を整列させ、グラフトークンとテキスト情報をLLMに注入します。これにより、複数のGNNをアンサンブルし、LLMの利点を活用して、テキスト意味情報とグラフ構造情報をより深く理解することができます。実験の結果、LensGNNは従来モデルより優れた性能を示すことが確認された。この研究は、意味と構造情報を統合するための強力で優れたソリューションを提供することによって、テキスト属性グラフのアンサンブル学習を進めます。コードとデータはGitHubによって公開されています。

Takeaways、Limitations

•
Takeaways：
◦
LLMを活用して複数のGNNを効果的にアンサンブルする新しい方法を提示
◦
テキスト意味情報とグラフ構造情報を統合してGNN性能を向上
◦
従来のGNNモデルのLimitationsを克服し、優れた性能を達成
◦
テキスト属性グラフ アンサンブル学習分野の発展に貢献
•
Limitations：
◦
LLMの計算コストとリソース消費の検討が必要
◦
さまざまな種類のグラフデータセットの一般化パフォーマンス検証が必要
◦
LoRAファインチューニングの最適化パラメータ設定に関するさらなる研究が必要
◦
特定のLLMへの依存性および他のLLM適用性に関するさらなる研究が必要
👍
Made with Slashpage