본 논문은 생성 모델을 이용한 물리 시스템 모델링에서 확산 모델의 한계점을 해결하는 새로운 방법인 PIDDM (Physics-Informed Distillation of Diffusion Models)을 제안한다. 기존 확산 모델은 중간 단계의 잡음이 포함된 데이터에만 접근하여 깨끗한 데이터에 제약 조건을 직접 적용하는 것이 불가능하며, 대신 기댓값에 제약 조건을 적용하는데, 이는 Jensen's Gap으로 인해 정확도 저하를 야기한다. PIDDM은 확산 과정에 제약 조건을 직접 주입하는 대신, 사후 증류 단계에서 제약 조건을 적용하여 이 문제를 해결한다. 이를 통해 단일 단계 생성에서 PDE 만족도를 향상시키고, 순방향 및 역방향 문제 해결과 부분 관측값으로부터의 재구성을 지원한다. 다양한 PDE 벤치마크 실험을 통해 PIDM, DiffusionPDE, ECI-sampling 등 기존 방법들보다 PDE 만족도를 크게 향상시키는 것을 보여준다.