WeatherDiffusion는 내재적 공간에서 제어 가능한 날씨 편집을 위한 확산 기반 프레임워크입니다. 이 프레임워크는 확산 사전 기반의 두 가지 구성 요소로 이루어져 있습니다. 하나는 입력 이미지로부터 재료 특성, 장면 기하학, 조명을 내재적 맵으로 추정하는 역 렌더러이고, 다른 하나는 이러한 기하학 및 재료 맵과 특정 날씨 조건을 설명하는 텍스트 프롬프트를 활용하여 최종 이미지를 생성하는 순방향 렌더러입니다. 내재적 맵은 기존의 픽셀 공간 편집 방식에 비해 제어성을 향상시킵니다. WeatherDiffusion은 대규모 야외 장면에서 공간적 일치성 및 분해 품질을 개선하는 내재적 맵 인식 주의 메커니즘을 제안합니다. 순방향 렌더링의 경우, 미세한 날씨 제어를 위해 날씨 프롬프트의 CLIP-space 보간을 활용합니다. 또한, 다양한 날씨 조건에서 38k 및 18k 이미지를 포함하는 합성 및 실제 데이터 세트를 도입하며, 각 이미지는 내재적 맵 주석을 포함합니다. WeatherDiffusion은 자율 주행과 같은 다운스트림 작업에 대한 가능성을 보여주고, 까다로운 날씨 시나리오에서 감지 및 분할의 견고성을 향상시키며, 최첨단 픽셀 공간 편집 접근 방식, 날씨 복원 방법 및 렌더링 기반 방법을 능가합니다.