본 논문은 메시지 전달 신경망(MPNN)의 작동 원리를 이해하고 새로운 아키텍처를 설계하기 위한 원리적인 수학적 틀로 에너지 제약 확산 모델을 제안합니다. 물리 시스템에서 영감을 얻어, 이 모델은 다양체 상의 확산의 귀납적 편향과 에너지 최소화의 계층별 제약을 결합합니다. 논문은 확산 연산자가 확산 과정에 의해 암시적으로 하강하는 에너지 함수와 일대일 대응 관계가 있음을 밝히고, 에너지 제약 확산 시스템을 푸는 유한 차분 반복이 관측되거나 잠재적인 구조에서 작동하는 다양한 유형의 MPNN의 전파 계층을 유도한다는 것을 보여줍니다. 이를 통해 MLP, GCN, GIN, APPNP, GCNII, GAT 및 Transformer를 포함하여 계산 흐름을 메시지 전달(또는 그 특수한 경우)로 볼 수 있는 일반적인 신경망 아키텍처에 대한 통합적인 관점을 제시합니다. 이러한 통찰력을 바탕으로, 전역 어텐션 계층이 원리적인 에너지 제약 확산 프레임워크에서 파생된 확산에서 영감을 받은 새로운 유형의 신경 메시지 전달 모델인 Diffusion-inspired Transformers를 고안합니다. 실제 네트워크부터 이미지, 텍스트, 물리적 입자에 이르기까지 다양한 데이터 세트에서 새로운 모델은 데이터 구조가 관측(그래프로서), 부분적으로 관측되거나 완전히 관측되지 않은 시나리오에서 유망한 성능을 달성함을 보여줍니다.
