본 논문은 자연어 처리(NLP)에서 성공적인 대규모 언어 모델(LLM)의 패러다임을 생물학적 언어(단백질, RNA, DNA 등) 모델링에 적용하는 가능성을 탐구합니다. 기존에는 NLP의 자기회귀 생성 패러다임과 평가 지표를 생물학적 서열 모델링에 직접 적용했지만, 자연어와 생물학적 언어의 고유한 구조적 상관관계의 차이점을 간과했습니다. 본 논문에서는 생물 시스템에서의 '언어' 개념을 재검토하여 NLP의 성공을 생물학 분야에 효과적으로 적용하는 방법을 제시합니다. 생체 분자의 3D 구조를 문장의 의미적 내용으로 간주하고 잔기 또는 염기 간의 강한 상관관계를 고려하여 구조적 평가의 중요성을 강조하고, 자기회귀 패러다임의 생물학적 언어 모델링 적용 가능성을 보여줍니다. 소스 코드는 github.com/zjuKeLiu/RiFold 에서 확인할 수 있습니다.
