본 논문은 단백질 서열 정보와 3차원 구조 정보를 모두 활용하는 다중 모달 방식의 단백질 표현 학습 프레임워크를 제안합니다. 대규모 단백질 서열 데이터로 사전 훈련된 트랜스포머 기반 단백질 언어 모델(pLM)과 3D 구조 정보를 활용하는 그래프 신경망(GNN)의 장점을 결합하여, 주의 메커니즘과 게이팅 메커니즘을 통해 양쪽 모달리티 간의 효과적인 정보 교환을 가능하게 합니다. 특히, 계층적이고 양방향적인 융합(Bi-Hierarchical Fusion) 접근 방식을 통해, 지역적 및 전역적 수준에서 서열 및 구조 정보의 통합을 개선합니다. 제안된 방법은 효소 EC 분류, 모델 품질 평가, 단백질-리간드 결합 친화도 예측, 단백질-단백질 결합 부위 예측, B 세포 에피토프 예측 등 다양한 단백질 표현 학습 벤치마크에서 기존 방법들보다 우수한 성능을 보이며, 다중 모달 단백질 표현 학습 분야의 새로운 state-of-the-art를 달성합니다.
