GMoPE:A Prompt-Expert Mixture Framework for Graph Foundation Models
Created by
- Haebom
Category
Empty
저자
Zhibin Wang, Zhixing Zhang, Shuqi Wang, Xuanting Xie, Zhao Kang
개요
Graph Neural Networks (GNNs)의 일반화 능력 부족 문제를 해결하기 위해, Mixture-of-Experts (MoE) 아키텍처와 prompt-based learning을 결합한 GMoPE (Graph Mixture of Prompt-Experts) 프레임워크를 제안합니다. GMoPE는 전문가별 프롬프트 벡터와 구조 인식 MoE 라우팅을 활용하여 각 전문가가 특정 하위 도메인에 특화되도록 하며, 전문가 붕괴를 방지하기 위해 소프트 직교 제약 조건을 도입합니다. 또한, prompt-only fine-tuning 전략을 통해 공간적, 시간적 복잡성을 줄입니다. 다양한 사전 훈련 전략 및 다운스트림 작업에서 GMoPE의 성능을 평가한 결과, 기존 SOTA 모델을 능가하며, 전체 파라미터 fine-tuning과 유사한 성능을 보이면서도 적은 adaptation overhead를 보였습니다.
시사점, 한계점
•
시사점:
◦
MoE 및 prompt-based learning을 그래프에 효과적으로 적용하여 GNN의 일반화 능력을 향상시켰습니다.
◦
전문가 붕괴 방지를 위한 소프트 직교 제약 조건 도입으로 모델의 안정성을 높였습니다.
◦
Prompt-only fine-tuning을 통해 adaptation overhead를 줄여 효율성을 높였습니다.
◦
다양한 사전 훈련 전략과 다운스트림 작업을 통해 GMoPE의 성능을 검증했습니다.
•
한계점:
◦
구체적인 한계점은 논문에 명시되어 있지 않음. (제시된 내용만으로는 파악 불가)
