MMET: A Multi-Input and Multi-Scale Transformer for Efficient PDEs Solving
Created by
Haebom
저자
Yichen Luo, Jia Wang, Dapeng Lan, Yu Liu, Zhibo Pang
개요
본 논문은 기존 머신러닝 기반 편미분 방정식(PDE) 풀이 방법의 다중 입력 및 다중 스케일 일반화 능력 저하 및 높은 계산 비용 문제를 해결하기 위해 새로운 프레임워크인 다중 입력 및 다중 스케일 효율적 트랜스포머(MMET)를 제안한다. MMET는 메시와 쿼리 포인트를 각각 인코더와 디코더에 입력하는 구조를 가지며, 다양한 차원의 입력 변수나 함수를 효과적으로 처리하기 위해 Gated Condition Embedding (GCE) 레이어를 사용한다. Hilbert 곡선 기반 재직렬화 및 패치 임베딩 메커니즘을 통해 입력 길이를 줄여 대규모 기하 모델 처리 시 계산 비용을 크게 감소시킨다. 이러한 혁신을 통해 대규모 및 다중 입력 PDE 문제에 대한 효율적인 표현과 다중 스케일 해상도 쿼리를 지원한다. 다양한 물리 분야의 벤치마크 실험 결과, MMET는 정확도와 계산 효율성 모두에서 최첨단(SOTA) 방법들을 능가하는 성능을 보였다. 본 연구는 MMET가 엔지니어링 및 물리 기반 응용 분야에서 실시간 PDE 풀이를 위한 강력하고 확장 가능한 솔루션으로서의 잠재력을 보여주며, 특정 도메인에서 사전 훈련된 대규모 모델에 대한 미래 연구를 위한 길을 열었다. 소스 코드는 https://github.com/YichenLuo-0/MMET 에서 공개되었다.
