본 논문은 다양한 모달리티(예: 이미지, 텍스트)를 통합한 다중 모달 지식 그래프(MMKG)의 불완전성을 해결하기 위해 다중 모달 지식 그래프 완성(MMKGC) 문제를 다룹니다. 기존 MMKGC 방법들은 MMKG에 포함된 정보만을 활용하고 차별적 학습 목표를 채택하여 추론 능력이 제한적이라는 한계를 지닙니다. 본 논문에서는 대규모 언어 모델(LLM) 기반의 생성적 접근 방식을 활용하여 이러한 한계를 극복하고자, HERGC(Heterogeneous Experts Representation and Generative Completion) 프레임워크를 제안합니다. HERGC는 다양한 모달리티 정보를 풍부하게 하고 융합하여 후보 집합을 생성하고, 최소한의 지시 데이터로 미세 조정된 생성형 LLM 예측기를 사용하여 정답을 식별합니다. 세 가지 표준 MMKG 벤치마크에 대한 광범위한 실험을 통해 HERGC의 효과와 강건성을 입증하고 최첨단 성능을 달성함을 보여줍니다.
