Bài báo này đề xuất HERGC, một khuôn khổ hoàn thiện đồ thị tri thức đa phương thức (MMKGC) mới, tận dụng các mô hình ngôn ngữ quy mô lớn (LLM) để giải quyết vấn đề thiếu sót của đồ thị tri thức đa phương thức (MMKG) tích hợp nhiều phương thức khác nhau (ví dụ: hình ảnh và văn bản). HERGC làm giàu và kết hợp thông tin đa phương thức với các công cụ tìm kiếm biểu diễn chuyên gia không đồng nhất để tìm ra một tập hợp ứng viên cho mỗi bộ ba chưa hoàn chỉnh, sau đó xác định chính xác câu trả lời đúng bằng cách sử dụng bộ dự đoán LLM sinh sản được triển khai thông qua học trong ngữ cảnh hoặc tinh chỉnh nhẹ. Các thử nghiệm mở rộng trên ba điểm chuẩn MMKG tiêu chuẩn chứng minh rằng HERGC vượt trội hơn các phương pháp hiện có.
