Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment

Created by

Haebom

저자

Bryan Sangwoo Kim, Jeongsol Kim, Jong Chul Ye

💡 개요

기존 단일 이미지 초해상도(SISR) 모델은 학습된 스케일에서 뛰어난 성능을 보이지만, 이를 훨씬 초과하는 스케일에서는 성능이 저하되는 확장성 병목 현상을 겪습니다. 본 논문은 이를 해결하기 위해 중간 스케일 상태의 자기회귀 체인과 다중 스케일 인식 프롬프트를 활용하는 모델 불가지론적 프레임워크인 Chain-of-Zoom(CoZ)을 제안합니다. CoZ는 추가 학습 없이 기본 SR 모델을 반복적으로 재사용하고 조건부 확률을 해결 가능한 하위 문제로 분해하여 극한의 해상도를 달성합니다.

🔑 시사점 및 한계

•

극한 해상도 달성 가능성: CoZ는 기존 SR 모델을 추가 학습 없이도 256배 이상의 높은 초해상도 배율을 달성할 수 있음을 보여주며, 이는 SISR 분야의 새로운 가능성을 제시합니다.

•

인간 선호도 기반 텍스트 가이드: 시각 정보가 줄어드는 고배율 환경에서 VLM 기반의 다중 스케일 인식 텍스트 프롬프트를 사용하여 텍스트 가이드의 정확성을 높이고, GRPO를 통해 인간 선호도에 맞춰 프롬프트 추출기를 파인튜닝함으로써 결과물의 품질을 향상시킵니다.

•

복잡성과 계산 비용: CoZ는 여러 단계의 SR 및 프롬프트 생성을 거치므로, 단일 SR 모델에 비해 계산 복잡성과 시간이 증가할 수 있으며, 각 단계별 최적화가 중요할 수 있습니다.

PDF 보기

Made with Slashpage