본 논문은 Douban 영화 네트워크나 Amazon 상품 리뷰 네트워크와 같이 다양한 온라인 플랫폼을 다중 모달 이종 네트워크(MMHNs)로 설명하고, 이러한 네트워크 내 노드의 정확한 분류가 엔티티 분석에 중요함을 강조합니다. 기존의 다중 모달 융합 방법들이 개별 모달의 고유 특징을 잃을 수 있는 초기 융합 또는 GNN 기반 정보 전파에서의 교차 모달 안내를 간과하는 후기 융합 전략을 채택하는 한계를 지적합니다. 이에 따라, 이종 그래프 트랜스포머 프레임워크 내에서 다중 모달의 상호 영향을 정보 전파 과정에서 포착하여 노드 표현을 학습하는 새로운 노드 분류 모델인 HGNN-IMA(Heterogeneous Graph Neural Network with Inter-Modal Attention)를 제안합니다. 특히, 중첩된 모달 간 어텐션 메커니즘을 노드 간 어텐션에 통합하여 적응적 다중 모달 융합을 달성하고, 모든 모달에서 일관된 유사성을 가진 노드 간 전파를 장려하기 위해 모달 정렬을 고려합니다. 또한, 누락된 모달의 영향을 완화하기 위해 어텐션 손실을 추가합니다. 광범위한 실험을 통해 노드 분류 작업에서 모델의 우수성을 검증하고, 특히 네트워크 구조를 동반할 때 다중 모달 데이터를 처리하는 혁신적인 관점을 제공합니다.
