본 논문은 인터넷 규모의 이미지-텍스트 쌍을 사용한 대조적 언어-이미지 사전 훈련(CLIP)으로 비전 모델 구축에 큰 성공을 거두었지만, 라벨링된 데이터와 텍스트 감독의 부족, 다양한 수준의 하위 작업, 도메인 간의 개념적 차이로 인해 CLIP 파이프라인을 사용한 전이 가능한 그래프 신경망(GNN) 구축이 어렵다는 문제를 다룹니다. 이를 해결하기 위해, 의미적으로 라벨링된 몇 개의 샘플만 주어지고 각 샘플에 매우 약한 텍스트 감독이 있는 경우에도 사전 훈련된 GNN을 하위 작업 및 데이터에 효과적으로 적용할 수 있는 다중 모드 프롬프트 학습 패러다임을 제안합니다. 새로운 패러다임은 그래프 프롬프트와 텍스트 프롬프트를 동시에 학습하여 그래프를 대규모 언어 모델(LLM)과 동일한 공간에 직접 임베딩합니다. 본 논문에서는 몇 번의 시도만으로, 다중 작업 수준에서, 그리고 도메인 간 설정에서 제안된 패러다임의 우수한 성능을 보여줍니다. 또한, 매우 약한 텍스트 감독을 사용하여 GNN을 보지 못한 클래스로 일반화할 수 있는 최초의 CLIP 스타일 제로샷 분류 프로토타입을 구축합니다. 코드는 https://github.com/Violet24K/Morpher 에서 확인할 수 있습니다.
