Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Roll Your Eyes: Gaze Redirection via Explicit 3D Eyeball Rotation

Created by
  • Haebom

作者

YoungChan Choi, HengFei Wang, YiHua Cheng, Boeun Kim, Hyung Jin Chang, YoungGeun Choi, Sang-Il Choi

概要

この論文は、明示的な3D眼球構造を活用する新しい3D視線リダイレクトフレームワークを提案します。従来の視線リダイレクト方法は通常、ボリュームレンダリングを通じて暗黙の神経表現を使用する神経放射場(NeRF)ベースですが、本論文の方法は3Dガウススプラッティング(3DGS)を利用して3D眼球構造を明示的に表現します。 3D眼球構造の回転と動きを明示的にモデル化し、目的の視線方向を正確に再現するリアルな画像を作成します。さらに、目の周りの細かい筋肉の動きを複製するための適応型変形モジュールを提案します。 ETH-XGazeデータセットを使用した実験は、従来の最先端の方法よりも優れた画質と視線推定精度を達成し、さまざまな新しい視線画像を作成できることを示しています。

Takeaways、Limitations

Takeaways:
明示的な3D眼球モデルを使用して、従来のNeRFベースの方法よりも改善された視線リダイレクト性能を達成
3DGSを活用し、リアルで多様な視線画像生成が可能。
適応変形モジュールを介して目の周りの微小筋肉の動きまで考慮して、より自然な結果を導き出す。
従来の最先端法に比べ優れた画質と視線推定精度を検証。
Limitations:
ETH-XGazeデータセットへの依存性。他のデータセットへの一般化の可能性に関するさらなる研究が必要です。
3D眼球モデルの複雑さによる計算コストの増加の可能性
適応型変形モジュールの性能は、さまざまな状況や個人の違いによって異なります。
👍