본 논문은 다중 모달 단백질 언어 모델(PLMs)의 한계점을 극복하기 위한 설계 공간을 체계적으로 설명합니다. 3D 구조를 이산 토큰으로 토큰화하는 과정에서 발생하는 정밀한 구조적 세부 정보 및 상관 관계의 손실을 주요 병목 현상으로 지적하고, 이를 해결하기 위해 향상된 생성 모델링, 구조 인식 아키텍처 및 표현 학습, 데이터 탐색을 포함하는 설계 공간을 제시합니다. 보다 세밀한 감독 학습 방식을 통해 토큰 기반 다중 모달 PLMs의 강력한 구조 모델링 성능을 입증하며, 제안된 설계 방법들이 구조 생성 다양성과 특히 접힘 능력을 크게 향상시킴을 보여줍니다. 6억 5천만 매개변수 모델의 RMSD를 5.52에서 2.36으로 감소시켜 30억 매개변수 기준 모델을 능가하고 전문적인 접힘 모델과 비슷한 성능을 달성했습니다. 프로젝트 페이지와 코드는 https://bytedance.github.io/dplm/dplm-2.1/ 에서 확인할 수 있습니다.
