본 논문은 몰입형 통신 및 상호 작용을 위해 딥 러닝 기반 생성 모델을 사용하여 고충실도 인간 얼굴 렌더링을 생성하는 Photorealistic Codec Avatar (PCA)를 가상 현실 (VR) 환경에 배포하는 데 초점을 맞춥니다. 특히, 계산 요구 사항이 높은 PCA 모델을 자원 제약적인 VR 장치에서 실시간으로 실행하기 위한 효율적인 방법을 제안합니다. 제안된 방법은 Codec Avatar 모델에 맞춘 효율적인 Post-training Quantization (PTQ) 기술과 맞춤형 하드웨어 가속기를 결합하여 ESCA라는 전체 스택 최적화 프레임워크를 개발합니다. 실험 결과는 ESCA가 품질 저하 없이 실시간 VR 요구 사항을 충족하는 성능 향상을 달성함을 보여줍니다.
