Roll Your Eyes: Gaze Redirection via Explicit 3D Eyeball Rotation
Created by
Haebom
저자
YoungChan Choi, HengFei Wang, YiHua Cheng, Boeun Kim, Hyung Jin Chang, YoungGeun Choi, Sang-Il Choi
개요
본 논문은 명시적인 3D 안구 구조를 활용하는 새로운 3D 시선 재지정 프레임워크를 제안합니다. 기존의 시선 재지정 방법들은 일반적으로 볼륨 렌더링을 통해 암시적인 신경 표현을 사용하는 신경 방사장(NeRF) 기반이지만, 본 논문의 방법은 3D 가우시안 스플래팅(3DGS)을 이용하여 3D 안구 구조를 명시적으로 표현합니다. 3D 안구 구조의 회전 및 이동을 명시적으로 모델링하여 원하는 시선 방향을 정확하게 재현하는 사실적인 이미지를 생성합니다. 또한, 눈 주변의 미세한 근육 움직임을 복제할 수 있는 적응형 변형 모듈을 제안합니다. ETH-XGaze 데이터셋을 이용한 실험을 통해 기존 최첨단 방법보다 우수한 이미지 품질과 시선 추정 정확도를 달성하며 다양한 새로운 시선 이미지를 생성할 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
명시적인 3D 안구 모델을 사용하여 기존 NeRF 기반 방법보다 향상된 시선 재지정 성능을 달성.
◦
3DGS를 활용하여 사실적이고 다양한 시선 이미지 생성 가능.
◦
적응형 변형 모듈을 통해 눈 주변 미세 근육 움직임까지 고려하여 더욱 자연스러운 결과 도출.
◦
기존 최첨단 방법 대비 우수한 이미지 품질과 시선 추정 정확도를 검증.
•
한계점:
◦
ETH-XGaze 데이터셋에 대한 의존성. 다른 데이터셋으로의 일반화 가능성에 대한 추가 연구 필요.
