VARestorer: One-Step VAR Distillation for Real-World Image Super-Resolution

Created by

Haebom

저자

Yixuan Zhu, Shilin Ma, Haolin Wang, Ao Li, Yanzhe Jing, Yansong Tang, Lei Chen, Jiwen Lu, Jie Zhou

💡 개요

본 논문은 이미지 생성에 효과적인 시각적 자기회귀 모델(VAR)을 실제 이미지 초해상도(Real-ISR) 태스크에 적용할 때 발생하는 문제점, 즉 인과적 어텐션으로 인한 전역적인 저해상도(LQ) 컨텍스트 활용 부족과 반복적인 예측 과정에서의 오류 누적 문제를 해결하기 위한 VARestorer라는 새로운 증류 프레임워크를 제안합니다. VARestorer는 사전 학습된 텍스트-이미지 VAR 모델을 한 단계 초해상도 모델로 변환하며, 분포 매칭 기법을 통해 반복적인 개선 없이 오류 전파를 줄이고 추론 시간을 단축합니다. 또한, 피라미드 이미지 컨디셔닝과 교차 스케일 어텐션을 도입하여 입력 이미지 정보를 효과적으로 활용하고 양방향 스케일 간 상호작용을 가능하게 합니다.

🔑 시사점 및 한계

•

사전 학습된 강력한 VAR 모델의 특징을 유지하면서도 실제 이미지 초해상도에 효과적으로 적용할 수 있는 효율적인 방법론을 제시합니다.

•

한 단계 초해상도라는 점과 파라미터 효율적인 어댑터 파인튜닝을 통해 기존 VAR 모델 대비 현저히 빠른 추론 속도를 달성했습니다.

•

다양한 데이터셋에서 최신 기술 대비 우수한 성능을 보여 실제 이미지 초해상도 분야에서의 잠재력을 입증했습니다.

•

향후 연구에서는 더 복잡한 구조의 VAR 모델이나 다양한 조건부 이미지 생성 모델에 대한 확장 가능성을 탐구해 볼 수 있습니다.

PDF 보기

Made with Slashpage