본 논문은 그래프 신경망(GNN)의 구조적 귀납적 편향과 트랜스포머의 전역 문맥 모델링 기능을 통합하는 그래프 표현 학습의 중대한 과제를 다룹니다. GNN은 메시지 전달 메커니즘을 통해 국지적 위상 패턴을 잘 포착하지만, 장거리 의존성 및 병렬화의 한계로 인해 대규모 시나리오에서 배포가 어렵습니다. 반대로 트랜스포머는 자기 주의 메커니즘을 활용하여 전역 수용 영역을 달성하지만 GNN의 고유한 그래프 구조적 사전 정보를 상속하는 데 어려움을 겪습니다. 본 논문은 GNN 교사 모델에서 트랜스포머 학생 모델로 다중 스케일 구조적 지식을 체계적으로 전달하는 새로운 지식 증류 프레임워크를 제안하여 교차 아키텍처 증류의 중요한 과제를 해결하는 새로운 관점을 제공합니다. 이 프레임워크는 마이크로-매크로 증류 손실과 다중 스케일 특징 정렬을 통해 GNN과 트랜스포머 간의 아키텍처 격차를 효과적으로 해소합니다. 이 연구는 트랜스포머 아키텍처에서 그래프 구조적 편향을 상속하는 새로운 패러다임을 확립하며 광범위한 응용 가능성을 제공합니다.
