Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Can LLMs Alleviate Catastrophic Forgetting in Graph Continual Learning? A Systematic Study

Created by
  • Haebom

저자

Ziyang Cheng, Zhixun Li, Yuhan Li, Yixin Song, Kangyi Zhao, Dawei Cheng, Jia Li, Jeffrey Xu Yu

개요

본 논문은 그래프 구조 데이터의 스트리밍 학습에서 발생하는 catastrophic forgetting 문제를 해결하기 위해 대규모 언어 모델(LLM)을 활용하는 방법을 제시합니다. 기존의 GCL(Graph Continual Learning) 연구들이 스트리밍 데이터로부터 처음부터 학습하는 방식에 의존하는 것과 달리, 본 연구는 사전 학습된 모델의 강력한 일반화 능력을 활용합니다. 기존 GCL 평가 방식의 문제점(task ID leakage)을 지적하고, 더 현실적인 시나리오에서 LLM의 성능을 평가합니다. 결과적으로, 간단하지만 효과적인 SimGCL(Simple Graph Continual Learning) 방법을 제안하며, 기존 최고 성능의 GNN 기반 방법보다 약 20% 향상된 성능을 rehearsal-free 조건 하에서 달성합니다. 또한, 기존 GCL 방법의 훈련 및 평가를 위한 사용하기 쉬운 벤치마크 LLM4GCL을 개발하여 공개합니다.

시사점, 한계점

시사점:
대규모 언어 모델(LLM)이 그래프 지속 학습(GCL)에서 catastrophic forgetting 문제 완화에 효과적임을 보임.
기존 GCL 평가 방식의 문제점을 지적하고, 더 현실적인 평가 방식을 제시.
간단하고 효과적인 SimGCL 방법을 제안하여 기존 최고 성능을 능가하는 결과를 달성.
재현성을 높이기 위한 벤치마크 LLM4GCL을 공개.
한계점:
SimGCL의 효과가 특정 데이터셋이나 그래프 구조에 국한될 가능성 존재.
LLM의 계산 비용 및 메모리 요구량이 높을 수 있음.
다양한 그래프 구조 및 스트리밍 데이터 패턴에 대한 추가적인 실험이 필요.
👍