Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Beyond Wide-Angle Images: Unsupervised Video Portrait Correction via Spatiotemporal Diffusion Adaptation

Created by
  • Haebom

저자

Wenbo Nie, Lang Nie, Chunyu Lin, Jingwen Chen, Ke Xing, Jiyuan Wang, Yao Zhao

개요

본 논문은 와이드 앵글 카메라의 왜곡으로 인한 얼굴 왜곡 문제를 해결하기 위해, 확산 모델 기반의 이미지 및 비디오 초상화 보정 프레임워크인 ImagePD와 VideoPD를 제안합니다. ImagePD는 트랜스포머의 장거리 인식과 확산 모델의 다단계 잡음 제거를 통합하여 전역 구조적 강건성과 국소적 세부 정보 개선을 달성합니다. VideoPD는 비디오 레이블의 높은 비용을 고려하여 공간 일관성 및 시간적 부드러움 제약 조건을 사용한 시공간 확산 적응을 통해 비표시된 와이드 앵글 비디오에 ImagePD를 재사용합니다. 다양한 사람 수, 조명 조건 및 배경을 가진 비디오 초상화 데이터셋을 구축하여 프레임워크를 평가하고 훈련했습니다. 실험 결과, 제안된 방법은 기존 솔루션보다 정량적 및 정성적으로 우수한 성능을 보이며, 안정적이고 자연스러운 초상화를 가진 고충실도 와이드 앵글 비디오에 기여합니다. 코드와 데이터셋은 공개될 예정입니다.

시사점, 한계점

•
시사점:
◦
와이드 앵글 카메라의 왜곡으로 인한 얼굴 왜곡 문제에 대한 효과적인 해결책 제시.
◦
ImagePD와 VideoPD라는 두 가지 효율적인 프레임워크 제안.
◦
트랜스포머와 확산 모델의 장점을 결합한 새로운 접근 방식 제시.
◦
대규모 비디오 초상화 데이터셋 구축 및 공개.
◦
정량적 및 정성적 실험을 통한 성능 검증.
•
한계점:
◦
제안된 데이터셋의 다양성 및 규모에 대한 구체적인 정보 부족.
◦
VideoPD의 시공간 확산 적응에 대한 세부적인 설명 부족.
◦
특정 유형의 왜곡에 대한 성능 저하 가능성.
◦
실제 환경에서의 일반화 성능에 대한 추가적인 검증 필요.
👍
Made with Slashpage