All-atom Diffusion Transformers: Unified generative modelling of molecules and materials
Created by
- Haebom
Category
Empty
저자
Chaitanya K. Joshi, Xiang Fu, Yi-Lun Liao, Vahe Gharakhanyan, Benjamin Kurt Miller, Anuroop Sriram, Zachary W. Ulissi
개요
3D 원자 시스템의 생성 모델링을 위한 표준 도구로 확산 모델이 사용되지만, 분자 및 재료와 같은 서로 다른 유형의 원자 시스템의 경우 기본 물리는 동일하지만 생성 과정은 일반적으로 대상 시스템에 매우 특화되어 있습니다. 본 논문에서는 동일한 모델을 사용하여 주기적 재료와 비주기적 분자 시스템을 공동으로 생성하는 통합 잠재 확산 프레임워크인 All-atom Diffusion Transformer (ADiT)를 소개합니다. (1) 오토인코더는 분자와 재료의 통합된 모든 원자 표현을 공유 잠재 임베딩 공간에 매핑하고, (2) 확산 모델은 오토인코더가 새로운 분자 또는 재료를 샘플링하기 위해 디코딩할 수 있는 새로운 잠재 임베딩을 생성하도록 훈련됩니다. QM9 및 MP20 데이터 세트에 대한 실험 결과, 공동으로 훈련된 ADiT는 사실적이고 유효한 분자와 재료를 생성하며, 분자 및 결정 특정 모델의 최첨단 결과를 능가합니다. ADiT는 오토인코더와 확산 모델 모두에 표준 Transformer를 사용하여 등변 확산 모델과 비교하여 훈련 및 추론 중에 상당한 속도 향상을 가져옵니다. ADiT를 5억 개의 매개변수까지 확장하면 성능이 예측 가능하게 향상되며, 생성 화학을 위한 광범위하게 일반화 가능한 기초 모델을 향한 한 걸음을 나타냅니다. 오픈소스 코드는 https://github.com/facebookresearch/all-atom-diffusion-transformer 에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
분자 및 재료 시스템을 모두 생성할 수 있는 통합된 잠재 확산 프레임워크를 제시.
◦
분자 및 결정 특정 모델보다 우수한 성능을 달성.
◦
표준 Transformer 사용으로 훈련 및 추론 속도 향상.
◦
모델 확장을 통한 성능 향상 및 생성 화학을 위한 기초 모델 가능성 제시.
•
한계점:
◦
현재 모델의 일반화 성능에 대한 추가적인 평가가 필요.
◦
다양한 유형의 원자 시스템에 대한 적용 가능성에 대한 추가적인 연구 필요.
◦
매개변수 크기 증가에 따른 계산 비용 증가 문제.
