Sign In

GraphKeeper: Graph Domain-Incremental Learning via Knowledge Disentanglement and Preservation

Created by
  • Haebom
Category
Empty

저자

Zihao Guo, Qingyun Sun, Ziwei Zhang, Haonan Yuan, Huiping Zhuang, Xingcheng Fu, Jianxin Li

개요

본 논문은 그래프 기반 파운데이션 모델(GFM)의 발전에 따라 중요성이 커지고 있는, 여러 그래프 도메인에 걸쳐 모델을 업데이트하는 그래프 도메인-증분 학습(Domain-IL) 문제를 해결하기 위해, 지식 분리 및 보존을 통한 그래프 도메인-증분 학습(GraphKeeper)을 제안한다. GraphKeeper는 임베딩 변화와 결정 경계 이탈 측면에서 Domain-IL의 재앙적 망각을 해결하고자 하며, 도메인별 파라미터 효율적 미세 조정과 내부 및 도메인 간 분리 목표를 통해 임베딩 변화와 혼동을 방지한다. 또한, 결정 경계를 안정적으로 유지하기 위해 이탈 없는 지식 보존을 도입한다. 관찰할 수 없는 도메인의 그래프를 위해 도메인 인식 분포 차별화를 수행하여 정확한 임베딩을 얻는다. 다양한 GFM과 통합될 수 있으며, 기존 방법론 대비 우수한 성능을 보인다.

시사점, 한계점

Domain-IL 문제를 해결하기 위한 새로운 접근 방식 제시
임베딩 변화 및 결정 경계 이탈 문제를 해결하기 위한 구체적인 방법론 제안 (지식 분리, 보존 등)
다양한 GFM과의 통합 가능성 제시
실험을 통해 기존 방법론 대비 우수한 성능 입증
Domain-IL에 대한 연구가 아직 초기 단계이므로, 더 많은 연구가 필요
실험의 구체적인 세팅 (그래프 데이터, 모델 등)에 대한 정보 부족 가능성
👍