Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Promptus: Can Prompts Streaming Replace Video Streaming with Stable Diffusion

Created by
  • Haebom

저자

Jiangkai Wu, Liming Liu, Yunpeng Tan, Junlin Hao, Xinggong Zhang

개요

본 논문은 기존 비디오 스트리밍 시스템의 한계를 극복하기 위해, 비디오 콘텐츠 대신 시각적 프롬프트를 전송하는 새로운 시맨틱 통신 시스템인 Promptus를 제안합니다. Promptus는 실제 비디오 프레임을 일련의 프롬프트로 표현하여 수신측에서 Stable Diffusion을 이용해 비디오를 생성합니다. 원본 비디오와 생성된 비디오의 픽셀 정렬을 위해 기울기 하강법 기반 프롬프트 피팅 프레임워크를 제시하고, 저차원 분해 기반 비트 전송률 제어 알고리즘과 프레임 간 압축을 위한 보간 인식 피팅 알고리즘을 도입합니다. 실험 결과, H.265에 비해 4배 이상의 대역폭 감소를 달성하면서 동일한 지각 품질을 유지하며, 매우 낮은 비트 전송률에서는 VAE 및 H.265에 비해 지각 품질을 향상시키고 심각하게 왜곡된 프레임 비율을 크게 감소시키는 것을 보여줍니다.

시사점, 한계점

시사점:
기존 비디오 스트리밍 시스템의 대역폭 효율 문제를 혁신적으로 해결하는 새로운 패러다임 제시.
H.265 대비 4배 이상의 대역폭 감소 및 동일한 지각 품질 유지.
극저 비트레이트 환경에서 지각 품질 향상 및 왜곡 프레임 비율 감소.
오픈소스 공개를 통한 연구 확장 및 활용 용이성 증대.
한계점:
Stable Diffusion 의존성으로 인한 생성 과정의 연산량 증가 및 지연 발생 가능성.
다양한 비디오 장르에 대한 일반화 성능 및 견고성에 대한 추가 연구 필요.
프롬프트 생성 및 전송 과정의 최적화 및 효율성 개선 필요.
실제 네트워크 환경에서의 성능 평가 및 검증 필요.
👍