WeatherDiffusion는 내재적 공간에서 제어 가능한 날씨 편집을 위한 확산 기반 프레임워크입니다. 이 프레임워크는 확산 사전(diffusion priors)을 기반으로 하는 두 가지 구성 요소로 이루어져 있습니다. 첫째, 입력 이미지에서 재질 특성, 장면 기하학, 조명을 내재적 맵으로 추정하는 역 렌더러입니다. 둘째, 이러한 기하학 및 재질 맵과 특정 기상 조건을 설명하는 텍스트 프롬프트를 활용하여 최종 이미지를 생성하는 정방향 렌더러입니다. 내재적 맵은 기존의 픽셀 공간 편집 방식에 비해 제어성을 향상시킵니다. 대규모 야외 장면에서 공간적 일치성과 분해 품질을 향상시키는 내재적 맵 인식 주의 메커니즘을 제안합니다. 정방향 렌더링의 경우, 미세한 날씨 제어를 달성하기 위해 날씨 프롬프트의 CLIP 공간 보간을 활용합니다. 또한, 다양한 기상 조건에서 38k 및 18k 이미지를 포함하는 합성 및 실제 데이터 세트를 도입하며, 각 이미지에는 내재적 맵 주석이 포함되어 있습니다.