# Dual Prompting Image Restoration with Diffusion Transformers

### 저자

Dehong Kong, Fan Li, Zhixin Wang, Jiaqi Xu, Renjing Pei, Wenbo Li, WenQi Ren

### 개요

본 논문은 저품질 이미지 복원을 위해 기존의 U-Net 기반 잠재 확산 모델의 한계를 극복하고, 확장성이 뛰어나고 고품질 복원이 가능한 Diffusion Transformer (DiT)를 활용한 새로운 방법인 DPIR (Dual Prompting Image Restoration)을 제시합니다. DPIR은 저품질 이미지 조건화 분기와 이중 프롬프트 제어 분기를 통해 저품질 이미지의 조건 정보를 다각적으로 추출합니다.  저품질 이미지 조건화 분기는 경량 모듈을 사용하여 효율적으로 이미지 사전 정보를 DiT에 통합하고, 이중 프롬프트 제어 분기는 텍스트 설명만으로는 이미지의 시각적 특징을 완전히 포착할 수 없다는 점에 착안하여, 전역적 맥락과 국소적 외관을 모두 포착하는 시각적 단서를 DiT에 제공합니다.  추출된 전역-국소 시각적 프롬프트와 텍스트 프롬프트를 결합한 이중 프롬프트는 복원 품질을 크게 향상시킵니다.  실험 결과, DPIR은 기존 방법보다 우수한 이미지 복원 성능을 보여줍니다.

### 시사점, 한계점

- **시사점:**

    - DiT 기반의 이미지 복원 방법의 효용성을 보여줌.

    - 이중 프롬프트(텍스트 및 시각적 프롬프트)를 활용한 새로운 접근법 제시.

    - 전역 및 국소적 시각 정보를 효과적으로 활용하여 복원 품질 향상.

    - 경량 모듈을 통해 효율적인 이미지 사전 정보 통합.

    - 우수한 이미지 복원 성능을 실험적으로 입증.

- **한계점:**

    - DPIR의 구체적인 경량 모듈 및 이중 프롬프트 추출 방법에 대한 자세한 설명 부족.

    - 다양한 유형의 저품질 이미지에 대한 일반화 성능에 대한 추가적인 분석 필요.

    - 다른 최첨단 방법과의 비교 분석이 더욱 심도 있게 이루어져야 함.

    - 계산 비용 및 메모리 사용량에 대한 분석이 필요.

[PDF 보기](https://arxiv.org/pdf/2504.17825)

![https://i.imgur.com/Uk04xfj.jpeg](https://i.imgur.com/Uk04xfj.jpeg)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).