Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

HERGC: Heterogeneous Experts Representation and Generative Completion for Multimodal Knowledge Graphs

Created by
  • Haebom

作者

Yongkang Xiao, Rui Zhang

概要

本論文は、多様なモダリティ(例えば、画像、テキスト)を組み込んだマルチモーダル知識グラフ(MMKG)の不完全性を解決するために、大規模言語モデル(LLM)を活用した新しいマルチモーダル知識グラフ完成(MMKGC)フレームワークであるHERGCを提案する。 HERGCは、異質なエキスパート表現サーチを介して複数のモーダル情報を豊富に融合し、各不完全なトリプルの候補セットを検索し、文脈内学習または軽量微調整によって実装された生成型LLM予測子を使用して正確に正解を識別します。 3つの標準MMKGベンチマークの広範な実験は、従来の方法より優れた性能を達成することを示しています。

Takeaways、Limitations

Takeaways:
LLMをMMKGCに効果的に活用する新しいアプローチの提示
異質な情報融合と生成型モデルの活用によるMMKG完成性能の向上
既存のMMKGC法のLimitationsである閉鎖世界仮定と差別的学習目標の問題解決に寄与
さまざまなMMKGベンチマークで優れた性能検証
Limitations:
LLMの活用による高い計算コストと資源消費の可能性
LLMの説明可能性と信頼性に関するさらなる研究が必要
特定のタイプのMMKGまたはモダリティに対するパフォーマンス偏向の可能性
使用されるLLMのパフォーマンスに依存する可能性があります。
👍