每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

转动你的眼睛：通过明确的 3D 眼球旋转实现视线重定向

Created by
  • Haebom

作者

YoungChan Choi、HengFei Wang、YiHua Cheng、Boeun Kim、Hyung Jin Chang、YoungGeun Choi、Sang-Il Choi

大纲

本文提出了一种利用显式 3D 眼球结构的新型 3D 凝视重定向框架。现有的凝视重定向方法通常基于神经径向场 (NeRF)，通过体绘制实现隐式神经表征，而我们的方法则使用 3D 高斯分布 (3DGS) 显式地表示 3D 眼球结构。通过显式地建模 3D 眼球结构的旋转和平移，我们生成了能够准确再现所需凝视方向的逼真图像。此外，我们提出了一个自适应变形模块，可以复制眼球周围精细的肌肉运动。在 ETH-XGaze 数据集上的实验表明，与现有的最先进方法相比，我们的方法实现了卓越的图像质量和凝视估计精度，并且可以生成各种新颖的凝视图像。

Takeaways，Limitations

•
Takeaways：
◦
使用明确的 3D 眼模型，实现比现有基于 NeRF 的方法更好的凝视重定向性能。
◦
3DGS可用于创建逼真且多样的透视图像。
◦
自适应变形模块甚至会考虑眼睛周围微小的肌肉运动，以产生更自然的效果。
◦
与现有的最先进方法相比，验证了卓越的图像质量和凝视估计精度。
•
Limitations：
◦
依赖于 ETH-XGaze 数据集。需要进一步研究以确定其对其他数据集的通用性。
◦
由于 3D 眼模型的复杂性，计算成本可能会增加。
◦
自适应变换模块的性能可能因各种情况和个体差异而有所不同。
👍
Made with Slashpage