Multi-Domain Graph Foundation Models: Robust Knowledge Transfer via Topology Alignment
Created by
Haebom
저자
Shuo Wang, Bokui Wang, Zhixiang Shen, Boyan Deng, Zhao Kang
개요
본 논문은 다양한 도메인에 걸쳐 사전 훈련된 범용 그래프 기반 모델을 개발하기 위해 컴퓨터 비전(CV)과 자연어 처리(NLP)의 최근 발전에 착안하여 연구되었습니다. 그러나 도메인 간 그래프 토폴로지의 상당한 차이로 인해 근본적인 문제가 발생합니다. 또한 실제 그래프는 종종 스파스하고 노이즈가 많은 연결과 적대적 공격에 취약합니다. 이러한 문제를 해결하기 위해 본 논문에서는 도메인 간 토폴로지 정보를 정렬하고 활용하여 강력한 지식 전이를 촉진하는 통합 프레임워크인 다중 도메인 그래프 기반 모델(MDGFM)을 제안합니다. MDGFM은 특징과 토폴로지를 적응적으로 균형을 맞추고 원래 그래프를 개선하여 노이즈를 제거하고 토폴로지 구조를 정렬함으로써 서로 다른 도메인을 연결합니다. 지식 전이를 더욱 향상시키기 위해 효율적인 프롬프트 튜닝 기법을 도입했습니다. 토폴로지를 정렬함으로써 MDGFM은 다중 도메인 사전 훈련을 개선할 뿐만 아니라 보이지 않는 도메인에 대한 강력한 지식 전이를 가능하게 합니다. 이론적 분석은 MDGFM의 효과와 도메인 일반화 기능을 보장합니다. 동종 친화적 및 이종 친화적 그래프 데이터 세트에 대한 광범위한 실험은 우리 방법의 강력성과 효능을 검증합니다.
