SkipSR: Faster Super Resolution with Token Skipping
Created by
Haebom
저자
Rohan Choudhury, Shanchuan Lin, Jianyi Wang, Hao Chen, Qi Zhao, Feng Cheng, Lu Jiang, Kris Kitani, Laszlo A. Jeni
개요
본 논문은 비디오 생성 및 복원에서 핵심적인 기술인 확산 기반 초해상화(SR)의 속도 저하 문제를 해결하기 위해, 영상 내 저 디테일 영역을 감지하여 해당 영역에 대한 연산을 건너뛰는 SkipSR 프레임워크를 제안한다. SkipSR은 저해상도 입력을 통해 저 디테일 영역을 식별하고, 정교화가 필요한 영역에 대해서만 초해상화를 수행함으로써 계산량을 줄인다. 이를 통해 표준 및 원-스텝 확산 SR 모델에서 지각적 품질을 유지하면서 720p 비디오 기준 최대 60%까지 엔드 투 엔드 지연 시간을 단축한다.
시사점, 한계점
•
시사점:
◦
저 디테일 영역을 활용하여 계산 효율성을 향상시키는 새로운 접근 방식을 제시함.
◦
표준 및 원-스텝 확산 SR 모델 모두에 적용 가능하여 범용성을 확보함.
◦
720p 비디오에서 상당한 속도 향상을 달성하며, 품질 저하 없이 효율성을 입증함.
•
한계점:
◦
논문에 구체적인 한계점에 대한 언급이 없음.
◦
제안된 방법의 성능이 다른 해상도 및 비디오 길이에 대해 어떻게 확장되는지 추가적인 연구가 필요할 수 있음.
