Cet article propose HERGC, un nouveau cadre de complétion de graphes de connaissances multimodaux (MMKGC) qui exploite les modèles de langage à grande échelle (LLM) pour remédier à l'incomplétude des graphes de connaissances multimodaux (MMKG) intégrant diverses modalités (par exemple, images et texte). HERGC enrichit et fusionne les informations multimodales avec des chercheurs de représentations expertes hétérogènes afin de récupérer un ensemble de candidats pour chaque triplet incomplet, puis identifie avec précision la bonne réponse à l'aide d'un prédicteur LLM génératif implémenté par apprentissage contextuel ou par réglage fin léger. Des expériences approfondies sur trois benchmarks MMKG standard démontrent que HERGC surpasse les méthodes existantes.
