본 논문은 다양한 모달리티(예: 이미지, 텍스트)를 통합한 다중 모달 지식 그래프(MMKG)의 불완전성을 해결하기 위해, 대규모 언어 모델(LLM)을 활용한 새로운 다중 모달 지식 그래프 완성(MMKGC) 프레임워크인 HERGC를 제안한다. HERGC는 이질적인 전문가 표현 검색기를 통해 다중 모달 정보를 풍부하게 하고 융합하여 각 불완전한 트리플에 대한 후보 집합을 검색한 후, 문맥 내 학습 또는 경량 미세 조정을 통해 구현된 생성형 LLM 예측기를 사용하여 정확하게 정답을 식별한다. 세 가지 표준 MMKG 벤치마크에 대한 광범위한 실험을 통해 기존 방법보다 우수한 성능을 달성함을 보여준다.
