본 논문은 개인화된 다중 모달 대형 언어 모델(MLLM)의 한계를 극복하기 위해 새로운 데이터셋 ReGraP과 모델 ReGraP-LLaVA를 제시합니다. 기존 MLLM은 개인화된 개념 간의 관계 추론에 어려움을 겪는데, ReGraP은 개인화된 지식 120개 세트(이미지, 지식 그래프(KG), KG에서 파생된 CoT QA 쌍 포함)를 제공하여 이 문제를 해결합니다. ReGraP-LLaVA는 KG와 CoT QA 쌍을 이용하여 학습되며, 소프트 및 하드 그래프 프롬프팅 기법을 통해 KG를 모델의 의미 공간에 정렬합니다. ReGraP 벤치마크는 다양한 유형의 질문(객관식, 빈칸 채우기, 참/거짓, 서술형)을 포함하여 개인화된 MLLM의 관계 추론 및 지식 연결 능력을 평가합니다. 실험 결과, ReGraP-LLaVA는 기존 모델보다 우수한 성능을 보이며 개인화된 지식 학습과 관계 추론 모두에서 최첨단(SoTA) 성능을 달성합니다. 코드와 데이터셋은 공개되어 있습니다.
