본 논문은 다양한 분자 작업(화학 반응 예측 및 분자 특성 예측 등)을 수행하는 대규모 언어 모델(LLM)의 최근 발전에 대해 다룹니다. 기존의 시퀀스 기반(SMILES 또는 SELFIES) 일반화 분자 LLM은 대규모 분자 instruction-tuning 데이터셋을 통해 가능해졌지만, 더 나은 성능을 위해 분자 구조 정보를 통합하는 다중 모드 접근 방식이 연구되고 있습니다. 하지만 광범위한 분자 작업을 다루는 진정한 의미의 다중 모드 일반화 LLM은 아직 충분히 연구되지 않았습니다. 본 논문은 단순한 다음 토큰 예측 학습이 그래프 구조 정보를 무시하여 LLM의 분자 그래프 활용 능력을 제한한다는 점을 관찰하고, 이를 해결하기 위해 (i) 올바른 분자 구조와 변경된 분자 구조 쌍 간의 선호도를 최적화하여 그래프 활용을 촉진하는 분자 구조 선호도 최적화(MolPO)와 (ii) MolPO에 의한 그래프 활용 효과를 향상시키기 위한 맞춤형 사전 학습 전략을 갖춘 고급 그래프 인코더를 제안합니다. 이러한 기여를 바탕으로, 본 논문은 (a) 분자 LLM 중 가장 광범위한 분자 작업을 처리하고, (b) 분자 구조 정보를 명시적으로 활용하며, (c) 광범위한 instruction tuning을 활용하는 최초의 다중 모드 일반화 모델인 Mol-LLM을 소개합니다. Mol-LLM은 가장 포괄적인 분자 LLM 벤치마크에서 최첨단 또는 유사한 결과를 달성하며, 특히 반응 및 특성 예측의 분포 외 데이터셋에서는 이전의 일반화 분자 LLM을 훨씬 능가합니다.
시사점, 한계점
•
시사점:
◦
다중 모드 접근 방식을 통해 분자 구조 정보를 활용하여 분자 LLM의 성능을 향상시킬 수 있음을 보여줌.
◦
MolPO와 고급 그래프 인코더를 통해 그래프 구조 정보 활용의 효율성을 높임.
◦
Mol-LLM은 다양한 분자 작업에 대해 우수한 성능을 보이며, 특히 분포 외 데이터셋에서 기존 모델을 능가함.
◦
광범위한 분자 작업을 다루는 다중 모드 일반화 LLM 개발의 가능성을 제시.
•
한계점:
◦
Mol-LLM의 성능 향상에 기여하는 요소들의 상대적 중요도에 대한 분석이 부족할 수 있음.
