본 논문은 텍스트가 속성으로 부여된 그래프(TAGs)의 표현 학습을 위한 새로운 아키텍처인 BiGTex를 제안합니다. BiGTex는 그래프 신경망(GNNs)과 대규모 언어 모델(LLMs)을 Graph-Text Fusion Units를 통해 밀접하게 통합하여 텍스트와 구조적 정보 간의 상호 작용을 가능하게 합니다. 각 유닛은 텍스트와 구조적 표현 간의 상호 어텐션을 허용하여 정보가 양방향으로 흐르도록 합니다. 매개변수 효율적인 미세 조정(LoRA)을 사용하여 LLM을 고정시키면서 작업 특정 신호에 적응하도록 학습됩니다. 다섯 개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 BiGTex가 노드 분류에서 최첨단 성능을 달성하고 링크 예측으로 효과적으로 일반화됨을 보여줍니다. 추가적인 ablation study는 소프트 프롬프팅과 양방향 어텐션의 중요성을 강조합니다.
