JAWS: Enhancing Long-term Rollout of Neural Operators via Spatially-Adaptive Jacobian Regularization

Created by

Haebom

저자

Fengxiang Nie, Yasuhiro Suzuki

💡 개요

본 논문은 신경망 연산자(Neural Operator)의 장기 시뮬레이션에서 발생하는 불안정성 및 스펙트럼 발산 문제를 해결하기 위해 Jacobian-Adaptive Weighting for Stability (JAWS)라는 확률론적 정규화 기법을 제안합니다. JAWS는 연산자 학습을 불확실성을 고려한 MAP 추정으로 간주하고, 지역적 물리적 복잡성에 따라 정규화 강도를 동적으로 조절하여 부드러운 영역에서는 수축을 강제하고 특이점 근처에서는 그래디언트를 보존합니다. 이를 통해 단기 궤적 최적화로도 장기 정확도를 높이고 계산 비용을 절감하는 효과를 얻었습니다.

🔑 시사점 및 한계

•

지역적 물리 복잡성에 따른 적응형 정규화: JAWS는 공간적으로 변화하는 물리적 복잡성을 고려하여 정규화 강도를 조절함으로써, 부드러운 영역에서는 안정성을 높이고 불연속적인 특징은 보존하는 균형을 이룹니다.

•

단기 최적화로 장기 정확도 향상: 기존의 장기 궤적 최적화 방식이 메모리 제약으로 어려움을 겪었던 반면, JAWS는 효과적인 스펙트럼 사전 조건화(pre-conditioner) 역할을 하여 메모리 효율적인 단기 궤적 최적화로도 우수한 장기 정확도를 달성할 수 있습니다.

•

다양한 동적 시스템으로의 일반화 및 계산 비용 절감: 1D 점성 Burgers 방정식을 포함한 실험에서 JAWS는 장기 안정성, 충격파(shock) 충실도, 분포 외 일반화 성능을 향상시키고, 훈련 시 계산 비용을 절감하는 결과를 보여주었습니다.

PDF 보기

Made with Slashpage