BF-STVSR: B-Splines and Fourier-Best Friends for High Fidelity Spatial-Temporal Video Super-Resolution
Created by
Haebom
Category
Empty
저자
Eunjin Kim, Hyeonjin Kim, Kyong Hwan Jin, Jaejun Yoo
개요
기존 연속 공간-시간 비디오 초고해상도(C-STVSR) 방법들은 연속 인코딩에 암묵적 신경 표현(INR)을 사용하지만, 비디오 데이터의 복잡성을 포착하는 데 어려움을 겪고, 간단한 좌표 연결과 사전 훈련된 광학 흐름 네트워크에 의존하여 움직임을 표현합니다. 본 논문에서는 위치 인코딩 추가가 성능을 향상시키지 않고 오히려 저하시킨다는 점을 발견하였으며, 특히 사전 훈련된 광학 흐름 네트워크와 결합될 때 이 문제가 심화되는 것을 확인했습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 비디오의 공간 및 시간적 특성을 더 잘 표현하기 위해 두 가지 주요 모듈을 갖춘 C-STVSR 프레임워크인 BF-STVSR을 제안합니다. 1) 부드러운 시간적 보간을 위한 B-spline Mapper와 2) 지배적인 공간 주파수를 포착하기 위한 Fourier Mapper가 그것입니다. 제안된 방법은 PSNR과 SSIM을 포함한 다양한 지표에서 최첨단 성능을 달성하여 향상된 공간적 디테일과 자연스러운 시간적 일관성을 보여줍니다. 코드는 https://github.com/Eunjnnn/bfstvsr 에서 공개됩니다.