Daily Arxiv

This page organizes papers related to artificial intelligence published around the world.
This page is summarized using Google Gemini and is operated on a non-profit basis.
The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.

WeatherDiffusion: Controllable Weather Editing in Intrinsic Space

Created by
  • Haebom
Category
Empty

저자

Yixin Zhu, Zuoliang Zhu, Jian Yang, Milo\v{s} Ha\v{s}an, Jin Xie, Beibei Wang

WeatherDiffusion: controllable weather editing in intrinsic space

개요

WeatherDiffusion는 내재적 공간에서 제어 가능한 날씨 편집을 위한 확산 기반 프레임워크입니다. 이 프레임워크는 확산 사전(diffusion priors)을 기반으로 하는 두 가지 구성 요소로 이루어져 있습니다. 첫째, 입력 이미지에서 재질 특성, 장면 기하학, 조명을 내재적 맵으로 추정하는 역 렌더러입니다. 둘째, 이러한 기하학 및 재질 맵과 특정 기상 조건을 설명하는 텍스트 프롬프트를 활용하여 최종 이미지를 생성하는 정방향 렌더러입니다. 내재적 맵은 기존의 픽셀 공간 편집 방식에 비해 제어성을 향상시킵니다. 대규모 야외 장면에서 공간적 일치성과 분해 품질을 향상시키는 내재적 맵 인식 주의 메커니즘을 제안합니다. 정방향 렌더링의 경우, 미세한 날씨 제어를 달성하기 위해 날씨 프롬프트의 CLIP 공간 보간을 활용합니다. 또한, 다양한 기상 조건에서 38k 및 18k 이미지를 포함하는 합성 및 실제 데이터 세트를 도입하며, 각 이미지에는 내재적 맵 주석이 포함되어 있습니다.

시사점, 한계점

내재적 공간에서의 날씨 편집을 통해 기존 방식보다 제어성 향상
내재적 맵 인식 주의 메커니즘을 통해 대규모 야외 장면에서의 성능 개선
CLIP 공간 보간을 활용한 미세한 날씨 제어 구현
자율 주행 등 다운스트림 작업에서의 잠재적 활용 가능성
새로운 데이터 세트 구축을 통해 연구 기반 마련
구체적인 한계점은 논문 내용을 통해 확인 필요
👍