Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Neural Video Compression using 2D Gaussian Splatting

Created by
  • Haebom

저자

Lakshya Gupta, Imran N. Junejo

개요

본 논문은 기존의 비디오 코덱(AVC, HEVC, VVC, AV1, AV2 등)을 대체할 수 있는 신경망 기반 비디오 코덱(NVC)에 대한 연구를 다룬다. NVC는 수작업으로 설계된 특징(움직임이나 가장자리 기반)에 의존하지 않고 콘텐츠 인식 압축 전략을 학습하여 기존 방식보다 더 나은 적응성과 높은 압축 효율을 제공한다. 특히, 실시간 응용 프로그램에서의 높은 연산량 요구사항을 해결하기 위해 관심 영역(ROI) 기반의 NVC 모델을 제안하며, 2D Gaussian Splatting을 활용하여 실시간 디코딩 및 효율적인 데이터 포인트 사용을 가능하게 한다. 기존 Gaussian splatting 기반 이미지 코덱의 인코딩 시간을 콘텐츠 인식 초기화 전략과 새로운 Gaussian 간 프레임 중복 감소 메커니즘을 통해 88% 단축시킨 비디오 파이프라인을 설계하여, 최초로 Gaussian splatting 기반의 NVC 솔루션을 제시한다.

시사점, 한계점

시사점:
기존 비디오 코덱보다 높은 압축 효율과 적응성을 제공하는 NVC 솔루션 제시.
2D Gaussian Splatting 활용으로 실시간 디코딩 가능성 확보.
콘텐츠 인식 초기화 전략 및 Gaussian 간 프레임 중복 감소 메커니즘을 통해 인코딩 시간을 크게 단축.
화상 회의 등 실시간 비디오 스트리밍 애플리케이션에 적용 가능성 제시.
한계점:
아직 NVC의 연산량이 높아 실시간 응용에 대한 제약 존재 (완전한 실시간 처리를 위한 추가적인 최적화 필요).
제안된 모델의 성능 평가에 대한 구체적인 결과 및 비교 분석 부족.
2D Gaussian Splatting 기반의 NVC가 다양한 비디오 콘텐츠에 대한 일반화 성능은 추가적인 연구가 필요.
👍