UnfoldLDM: Degradation-Aware Unfolding with Iterative Latent Diffusion Priors for Blind Image Restoration

작성자

Haebom

카테고리

Empty

저자

Chunming He, Rihan Zhang, Zheng Chen, Bowen Yang, Chengyu Fang, Yunlong Lin, Yulun Zhang, Fengyang Xiao, Sina Farsiu

💡 개요

본 논문은 기존의 심층 풀림 네트워크(DUN)가 특징인 일반화 성능 부족과 과도한 평활화 문제를 해결하기 위해 잠재 확산 모델(LDM)을 통합한 새로운 방법론인 UnfoldLDM을 제안합니다. UnfoldLDM은 다중 해상도 저하 인식(MGDA) 모듈을 통해 모든 종류의 영상 저하를 효과적으로 추정 및 제거하며, 잠재 확산 모델 기반의 저하 불변 사전 정보를 활용하여 세밀한 질감을 복원하고 과도한 평활화를 방지합니다. 이를 통해 다양한 블라인드 영상 복원(BIR) 과제에서 뛰어난 성능을 달성했습니다.

🔑 시사점 및 한계

•

범용적인 블라인드 영상 복원(BIR) 성능 향상: 기존의 저하별 의존성을 극복하고 다양한 종류의 영상 저하에 강건하게 대처할 수 있는 일반화된 BIR 솔루션을 제공합니다.

•

질감 디테일 복원 능력 강화: 잠재 확산 모델에서 추출한 사전 정보와 별도의 복원 트랜스포머를 통해 과도한 평활화 문제를 해결하고 영상의 미세한 질감을 효과적으로 복원합니다.

•

기존 DUN 프레임워크와의 호환성: 제안된 UnfoldLDM은 기존 DUN 기반 방법론에 플러그 앤 플레이 방식으로 통합될 수 있어, 기존 연구와의 연계 및 확장이 용이합니다.

•

계산 복잡성 및 추론 시간: LDM과 여러 단계의 반복적인 처리를 포함하는 구조로 인해, 실시간 적용이나 매우 높은 해상도의 영상 복원 시 계산량 및 추론 시간이 증가할 수 있습니다.

PDF 보기

Made with Slashpage