본 논문은 컴퓨터 비전에서 지속적 학습(Continual Learning)의 핵심 과제인 catastrophic forgetting 문제를 해결하기 위해, 지식 그래프를 활용한 새로운 모델인 KG-GMM(Knowledge Graph Enhanced Generative Multi-modal model)을 제안합니다. KG-GMM은 학습 과정 동안 발전하는 지식 그래프를 구축하여, 지식 그래프 내 관계를 활용해 클래스 레이블을 보강하고 유사한 범주에 다른 관계를 할당하여 모델의 차별화를 향상시킵니다. 추론 과정에서는 지식 그래프 증강 추론(Knowledge Graph Augmented Inference) 방법을 제안하여 생성된 텍스트 내 관계를 분석함으로써 특정 범주를 찾아내고, 새로운 지식을 학습할 때 이전 클래스에 대한 세부 정보 손실을 줄여 망각을 완화합니다. 실험 결과, 본 방법이 관계 정보를 효과적으로 활용하여 오류 예측을 수정하고, 기존 지속적 학습(CIL) 및 소수 샘플 지속적 학습(few-shot CIL) 설정에서 최첨단 성능을 달성함을 보여줍니다. 이는 지식 그래프가 지속적 학습 시나리오에서 지식을 보존하는 데 효과적임을 확인합니다.
