본 논문은 자연어 처리(NLP)에서 성공적인 대규모 언어 모델(LLM) 패러다임을 생물학적 언어(단백질, RNA, DNA) 모델링에 적용하는 가능성과 한계를 탐구한다. NLP에서 사용되는 자기회귀 생성 패러다임과 평가 지표를 생물학적 서열 모델링에 적용하는 기존 연구들을 검토하면서, 자연어와 생물학적 언어의 고유한 구조적 상관관계의 차이점을 강조한다. 본 논문에서는 생체 분자의 3차원 구조를 문장의 의미적 내용으로 간주하고 잔기 또는 염기 간의 강한 상관관계를 고려하여 구조적 평가의 중요성을 부각하고, 자기회귀 패러다임의 생물학적 언어 모델링 적용 가능성을 보여준다. 관련 코드는 github.com/zjuKeLiu/RiFold 에서 확인할 수 있다.
