본 논문은 저에너지 분자 배열(분자 내 원자의 공간적 배열) 샘플링이 신약 발견 및 최적화 과정에서 수행되는 많은 계산에 중요한 과제임을 다룹니다. 2D 분자 그래프로부터 분자 배열을 생성하기 위해 많은 특수한 등변 네트워크가 설계되었지만, 최근에는 확장성과 일반화 성능 향상 측면에서 비등변 트랜스포머 모델이 대안으로 떠올랐습니다. 하지만 비등변 모델은 등변 바이어스의 부족을 보완하기 위해 큰 모델 크기를 필요로 한다는 우려가 있었습니다. 본 논문에서는 적절히 선택된 위치 인코딩이 이러한 크기 제한을 효과적으로 해결함을 보여줍니다. 분자 그래프에 대한 상대적 위치 인코딩을 통합한 표준 트랜스포머 모델을 2500만 매개변수로 확장했을 때, 6400만 매개변수의 최첨단 비등변 기본 모델을 GEOM-DRUGS 벤치마크에서 능가했습니다. 상대적 위치 인코딩은 NLP 분야에서 널리 사용되는 ALiBi 기법과 유사하게, 다양한 경사의 그래프 노드 간 최단 경로 거리에 따라 선형적으로 증가하는 음의 어텐션 바이어스로 구현되었습니다. 이 아키텍처는 분자 배열 생성 모델의 새로운 종류를 위한 기반이 될 가능성이 있습니다.
