Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

WeatherDiffusion: Controllable Weather Editing in Intrinsic Space

Created by
  • Haebom
Category
Empty

저자

Yixin Zhu, Zuoliang Zhu, Jian Yang, Milo\v{s} Ha\v{s}an, Jin Xie, Beibei Wang

개요

WeatherDiffusion는 내재적 공간에서 제어 가능한 날씨 편집을 위한 확산 기반 프레임워크입니다. 이 프레임워크는 확산 사전 기반의 두 가지 구성 요소로 이루어져 있습니다. 하나는 입력 이미지로부터 재료 특성, 장면 기하학, 조명을 내재적 맵으로 추정하는 역 렌더러이고, 다른 하나는 이러한 기하학 및 재료 맵과 특정 날씨 조건을 설명하는 텍스트 프롬프트를 활용하여 최종 이미지를 생성하는 순방향 렌더러입니다. 내재적 맵은 기존의 픽셀 공간 편집 방식에 비해 제어성을 향상시킵니다. WeatherDiffusion은 대규모 야외 장면에서 공간적 일치성 및 분해 품질을 개선하는 내재적 맵 인식 주의 메커니즘을 제안합니다. 순방향 렌더링의 경우, 미세한 날씨 제어를 위해 날씨 프롬프트의 CLIP-space 보간을 활용합니다. 또한, 다양한 날씨 조건에서 38k 및 18k 이미지를 포함하는 합성 및 실제 데이터 세트를 도입하며, 각 이미지는 내재적 맵 주석을 포함합니다. WeatherDiffusion은 자율 주행과 같은 다운스트림 작업에 대한 가능성을 보여주고, 까다로운 날씨 시나리오에서 감지 및 분할의 견고성을 향상시키며, 최첨단 픽셀 공간 편집 접근 방식, 날씨 복원 방법 및 렌더링 기반 방법을 능가합니다.

시사점, 한계점

시사점:
내재적 공간에서의 제어 가능한 날씨 편집을 위한 새로운 확산 기반 프레임워크 제시.
향상된 제어성을 위한 내재적 맵 활용.
공간적 일치성 및 분해 품질 개선을 위한 내재적 맵 인식 주의 메커니즘 제안.
미세한 날씨 제어를 위한 CLIP-space 보간 활용.
자율 주행 등 다운스트림 작업에 활용 가능성 제시.
다양한 날씨 조건의 합성 및 실제 데이터 세트 제공.
한계점:
구체적인 한계점은 논문 요약에서 명시적으로 언급되지 않음. (논문 전체 내용을 확인해야 함)
👍