단일 이미지 초해상도(SISR)는 저해상도 입력으로부터 미세한 디테일을 복원하고 지각 품질을 유지하는 고유한 어려움 때문에 여전히 어려운 과제입니다. 기존 방법들은 제한적인 이미지 사전 정보에 의존하여 최적이 아닌 결과를 초래하는 경우가 많습니다. 본 논문에서는 깊이, 분할, 에지, 텍스트 프롬프트를 포함한 다중 모드에서 사용 가능한 풍부한 문맥 정보를 활용하여 확산 모델 프레임워크 내에서 강력한 생성 사전을 학습하는 새로운 접근 방식을 제안합니다. 임의의 수의 입력 모드를 수용하면서 확산 프로세스에 대한 상당한 수정을 필요로 하지 않는 유연한 네트워크 아키텍처를 도입합니다. 중요한 것은, 다른 모드의 공간 정보를 사용하여 지역 텍스트 기반 조건화를 안내함으로써 텍스트 프롬프트에 의해 자주 도입되는 환각을 완화합니다. 각 모드의 안내 강도는 독립적으로 제어할 수 있으므로 깊이를 통한 보케 증가 또는 분할을 통한 개체 중요도 조정과 같이 다양한 방향으로 출력을 조종할 수 있습니다. 광범위한 실험을 통해 제안된 모델이 최첨단 생성 SISR 방법을 능가하여 우수한 시각적 품질과 충실도를 달성함을 보여줍니다.
