본 논문은 단백질 서열 정보와 3D 구조 정보를 모두 활용하는 다중 모달 단백질 표현 학습 방법을 제시합니다. 대규모 단백질 서열 데이터로 사전 훈련된 Transformer 기반 단백질 언어 모델(pLM)과 3D 구조 정보를 활용하는 그래프 신경망(GNN)의 장점을 결합하여, 주목(attention) 및 게이팅(gating) 메커니즘을 이용한 이중 계층적 융합 프레임워크를 제안합니다. 이 프레임워크는 pLM이 생성한 서열 정보와 GNN이 추출한 구조 정보 간의 효과적인 상호 작용을 가능하게 하여 다양한 단백질 관련 예측 작업에서 성능 향상을 이끌어냅니다. 특히, 게이팅을 사용한 지역적 이중 계층적 융합과 다중 헤드 자기 주목을 사용한 전역적 이중 계층적 융합 방법을 제시하며, 효소 분류(react), 모델 품질 평가(MQA), 단백질-리간드 결합 친화도 예측(LBA), 단백질-단백질 결합 부위 예측(PPBS), B 세포 에피토프 예측(BCEs) 등 다양한 벤치마크에서 기존 방법들을 능가하는 성능을 보입니다.
