InertialAR: Autoregressive 3D Molecule Generation with Inertial Frames
Created by
- Haebom
Category
Empty
저자
Haorui Li, Weitao Du, Yuqiang Li, Hongyu Guo, Shengchao Liu
개요
Transformer 기반의 자기 회귀 모델은 텍스트 및 이미지와 같은 다양한 모달리티에서 통일된 패러다임으로 부상했지만, 3D 분자 생성으로의 확장은 충분히 연구되지 않았습니다. 이 간극은 두 가지 근본적인 문제에서 비롯됩니다. (1) 분자를 SE(3) 변환 및 원자 인덱스 순열에 불변하는 표준 1D 토큰 시퀀스로 토큰화하는 것, (2) 이산 원자 유형과 연속 3D 좌표를 결합하는 하이브리드 원자 기반 토큰을 모델링할 수 있는 아키텍처를 설계하는 것입니다. 이러한 문제를 해결하기 위해 InertialAR을 소개합니다. InertialAR은 분자를 관성 프레임에 정렬하고 원자를 재정렬하여 SE(3) 및 순열 불변성을 보장하는 표준 토큰화를 고안합니다. 또한, InertialAR은 기하 회전 위치 인코딩(GeoRoPE)을 통해 주의 메커니즘에 기하학적 인식을 제공합니다. 또한, 계층적 자기 회귀 패러다임을 사용하여 다음 원자 기반 토큰을 예측하며, 먼저 원자 유형을 예측한 다음 Diffusion loss를 통해 3D 좌표를 예측합니다. 실험적으로, InertialAR은 QM9, GEOM-Drugs, B3LYP에서 무조건적 분자 생성에 대한 10가지 평가 지표 중 7가지에서 최첨단 성능을 달성했습니다. 또한, 목표 화학적 기능에 대한 제어 가능한 생성에서 강력한 기준선을 크게 능가하여 5가지 모든 지표에서 최첨단 결과를 얻었습니다.
시사점, 한계점
•
SE(3) 변환 및 원자 순열 불변성을 보장하는 새로운 분자 토큰화 방식 제시.
•
기하학적 인식을 위한 GeoRoPE를 활용한 Transformer 기반 아키텍처 설계.
•
QM9, GEOM-Drugs, B3LYP 데이터셋에서 우수한 무조건적 분자 생성 성능 달성.
•
목표 화학적 기능 제어 가능한 생성에서 뛰어난 성능을 보임.
•
논문에서 구체적인 한계점 언급은 없음.
