본 논문은 그림자 영역에서 질감을 복원하는 문제를 다룹니다. 기존 방법들의 한계를 극복하기 위해 확산 모델을 이용하여 그림자 영역의 디테일을 점진적으로 개선하는 방법을 제안합니다. 특히, 그림자 없는 이미지의 특징을 담은 학습된 잠재 특징 공간을 조건으로 사용하여 기존 방법처럼 저품질 이미지에만 의존하는 것을 피합니다. 또한, 훈련 과정에서 발생할 수 있는 지역적 최적점 문제를 완화하기 위해 잡음 특징을 확산 네트워크와 융합하는 기법을 제안합니다. AISTD 데이터셋에서는 기존 최고 성능 모델보다 RMSE 기준 13% 향상된 성능을, DESOBA 데이터셋에서는 인스턴스 수준 그림자 제거에서 RMSE 기준 82% 향상된 성능을 보였습니다.