Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

BF-STVSR: B-Splines and Fourier-Best Friends for High Fidelity Spatial-Temporal Video Super-Resolution

Created by
  • Haebom
Category
Empty

저자

Eunjin Kim, Hyeonjin Kim, Kyong Hwan Jin, Jaejun Yoo

개요

기존 연속 공간-시간 비디오 초고해상도(C-STVSR) 방법들은 연속 인코딩에 암묵적 신경 표현(INR)을 사용하지만, 비디오 데이터의 복잡성을 포착하는 데 어려움을 겪고, 간단한 좌표 연결과 사전 훈련된 광학 흐름 네트워크에 의존하여 움직임을 표현합니다. 본 논문에서는 위치 인코딩 추가가 성능을 향상시키지 않고 오히려 저하시킨다는 점을 발견하였으며, 특히 사전 훈련된 광학 흐름 네트워크와 결합될 때 이 문제가 심화되는 것을 확인했습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 비디오의 공간 및 시간적 특성을 더 잘 표현하기 위해 두 가지 주요 모듈을 갖춘 C-STVSR 프레임워크인 BF-STVSR을 제안합니다. 1) 부드러운 시간적 보간을 위한 B-spline Mapper와 2) 지배적인 공간 주파수를 포착하기 위한 Fourier Mapper가 그것입니다. 제안된 방법은 PSNR과 SSIM을 포함한 다양한 지표에서 최첨단 성능을 달성하여 향상된 공간적 디테일과 자연스러운 시간적 일관성을 보여줍니다. 코드는 https://github.com/Eunjnnn/bfstvsr 에서 공개됩니다.

시사점, 한계점

시사점: B-spline Mapper와 Fourier Mapper를 이용한 새로운 C-STVSR 프레임워크 BF-STVSR 제안을 통해 PSNR과 SSIM 지표에서 최첨단 성능 달성. 향상된 공간적 디테일과 시간적 일관성 확보.
한계점: 본 논문에서 제시된 방법의 일반화 성능 및 다양한 비디오 데이터셋에 대한 성능 평가 추가 필요. 특정 유형의 비디오 데이터에 대한 과적합 가능성 존재.
👍