본 논문은 부분 미분 방정식(PDE)을 위한 형태 불변의 자기 회귀적 파운데이션 모델인 MORPH를 소개합니다. MORPH는 다양한 데이터 차원(1D-3D), 해상도, 스칼라 및 벡터 성분을 혼합한 여러 필드를 처리할 수 있는 컨볼루션 비전 트랜스포머 백본을 기반으로 합니다. 이 아키텍처는 (i) 로컬 상호 작용을 캡처하기 위해 스칼라 및 벡터 채널을 함께 처리하는 구성 요소별 컨볼루션, (ii) 서로 다른 물리적 필드 간 정보를 모델링하고 선택적으로 전파하는 필드 간 교차 어텐션, (iii) 표현력을 유지하면서 계산 부담을 줄이기 위해 개별 공간 및 시간 축을 따라 전체 시공간 자기 어텐션을 팩터화하는 축 어텐션을 결합합니다. 다양한 이기종 PDE 데이터 세트에서 여러 모델 변형을 사전 훈련하고, 다양한 다운스트림 예측 작업으로의 전송을 평가합니다. MORPH는 전체 모델 미세 조정과 파라미터 효율적인 저랭크 어댑터(LoRA)를 사용하여 제로샷 및 풀샷 일반화 모두에서 처음부터 훈련된 모델보다 성능이 뛰어납니다. 광범위한 평가에서 MORPH는 강력한 기준선 및 최신 모델과 일치하거나 능가합니다.
