HD-Prot: A Protein Language Model for Joint Sequence-Structure Modeling with Continuous Structure Tokens

작성자

Haebom

카테고리

Empty

저자

Yi Zhou, Haohao Qu, Yunqing Liu, Shanru Lin, Le Song, Wenqi Fan

💡 개요

본 연구는 단백질 서열과 구조의 이중성을 활용하여, 기존 언어 모델이 구조 정보를 불연속적인 토큰으로 변환하여 발생하는 정보 손실 문제를 해결하고자 합니다. 이를 위해 연속적인 구조 정보를 그대로 활용하는 'HD-Prot'라는 하이브리드 확산 모델을 제안하며, 이를 통해 서열과 구조를 동시에 통합적으로 학습하고 생성하는 데 성공했습니다.

🔑 시사점 및 한계

•

기존 단백질 언어 모델에서 구조 정보를 이산적인 토큰으로 변환할 때 발생하는 정보 손실 문제를 극복할 수 있는 가능성을 제시합니다.

•

연속적인 구조 토큰을 통합한 새로운 단백질 언어 모델 아키텍처(HD-Prot)를 제안하며, 이는 서열-구조 공동 생성, 구조 예측, 역접힘 등 다양한 단백질 관련 태스크에서 우수한 성능을 보입니다.

•

제한된 컴퓨팅 자원으로도 최신 멀티모달 pLM과 동등한 성능을 달성하며, 언어 모델 내에서 범주형 및 연속형 분포를 동시에 추정하는 것이 효과적임을 입증합니다.

•

제안된 HD-Prot 모델의 성능을 더욱 향상시키기 위한 추가적인 연구 및 다양한 단백질 관련 문제에 대한 적용 가능성을 탐색할 필요가 있습니다.

PDF 보기

Made with Slashpage