Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Towards Graph Foundation Models: Training on Knowledge Graphs Enables Transferability to General Graphs

Created by
  • Haebom

저자

Kai Wang, Siqiang Luo, Caihua Shan, Yifei Shen

개요

본 논문은 대규모 언어 모델의 성공에 영감을 받아 다양한 도메인에서 다양한 하위 작업을 수행하기 위한 그래프 기반 모델 개발 동향을 소개합니다. 기존 모델들은 새 그래프에 학습된 구조적 및 의미적 표현을 적용하기 위해 추가적인 미세 조정이 필요하여 다양성이 제한됩니다. 본 논문에서는 지식 그래프(KG)에 대한 제로샷 유도 추론의 최근 돌파구를 바탕으로 KG 추론을 일반적인 그래프 응용 프로그램으로 확장하는 새로운 관점을 제시합니다. 지식 그래프에서 훈련하고 다양한 그래프 작업과 도메인에 효과적으로 일반화하도록 설계된 통합 그래프 추론 프레임워크인 SCR을 소개합니다. 다양한 작업 형식에 대한 통합된 토폴로지를 구축하기 위해 작업별 KG 구조를 설계하고, 그래프 표현에서 구조적 및 의미적 불변 패턴을 공동으로 모델링하여 기존 KG 추론에서 고유한 의미적 격리를 해결하는 새로운 메커니즘인 의미 조건 메시지 전달을 제안합니다. 38개의 다양한 그래프 데이터 세트(노드 수준, 링크 수준, 그래프 수준 작업 포함)를 사용하여 SCR의 유도 추론 기능을 평가하여 기존 기반 모델 및 감독 기준보다 상당한 성능 향상을 보였습니다.

시사점, 한계점

시사점:
지식 그래프에서 학습된 모델을 다양한 그래프 작업 및 도메인에 효과적으로 일반화하는 통합 프레임워크 SCR을 제시.
의미 조건 메시지 전달 메커니즘을 통해 기존 KG 추론의 의미적 격리 문제 해결.
다양한 그래프 작업(노드, 링크, 그래프 수준)에서 기존 모델 및 기준선보다 우수한 성능을 입증.
제로샷 유도 추론의 가능성을 일반적인 그래프 응용 프로그램으로 확장.
한계점:
제시된 프레임워크의 일반화 능력에 대한 추가적인 실험 및 분석이 필요할 수 있음.
특정 도메인 또는 그래프 구조에 대한 편향이 존재할 가능성.
매우 큰 그래프에 대한 확장성에 대한 추가적인 연구가 필요.
다양한 그래프 유형에 대한 적용성에 대한 추가적인 검증이 필요.
👍