본 논문은 단백질 서열 데이터베이스를 사전 학습한 단백질 언어 모델(pLM)이 다양한 downstream task에서 뛰어난 성능을 보이지만, 많은 생물학적 응용에 필수적인 구조적 지식이 부족하다는 문제를 해결하고자 한다. 이를 위해, 사전 학습된 단백질 그래프 신경망(pGNN)의 구조적 통찰력을 잠재 변수 수준의 대조 학습 과제를 통해 pLM에 통합한다. 이 과제는 여러 단백질에 걸쳐 pLM과 pGNN의 잔기 표현을 정렬하여 pLM에 단백질 간 구조적 지식을 풍부하게 한다. 또한, pLM이 구조 토큰을 예측하도록 최적화하여 단백질 내 구조적 지식을 주입하는 물리적 수준의 과제를 통합한다. 제안된 이중 과제 프레임워크는 pLM에 단백질 간 및 단백질 내 구조적 지식을 효과적으로 통합한다. PDB의 단백질 구조 품질의 변동성을 고려하여, 고품질 구조를 기반으로 학습된 소규모 모델을 사용하여 pLM이 학습할 신뢰할 수 있으면서도 어려운 잔기 손실을 선택하는 잔기 손실 선택 모듈을 추가로 도입한다. 최첨단 ESM2 및 AMPLIFY에 구조 정렬 방법을 적용하여 접촉 예측에서 12.7% 증가를 포함한 광범위한 과제에서 눈에 띄는 성능 향상을 달성했다. 데이터, 코드 및 결과 SaESM2 및 SaAMPLIFY 모델은 Hugging Face에 공개될 예정이다.
