Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ProtoGS : rendu efficace et de haute qualité avec des prototypes gaussiens 3D

Created by
  • Haebom

Auteur

Zhengqing Gao, Dongting Hu, Jia-Wang Bian, Huan Fu, Yan Li, Tongliang Liu, Mingming Gong, Kun Zhang

Contour

Le 3DGS (3D Gaussian Splatting) a fait de grands progrès dans la synthèse de vues innovantes, mais son déploiement sur des appareils légers est difficile en raison du grand nombre de primitives gaussiennes requises. Dans cet article, nous proposons ProtoGS, qui apprend des prototypes gaussiens pour représenter des primitives gaussiennes. ProtoGS préserve la qualité visuelle tout en réduisant considérablement le nombre de gaussiennes. Il utilise directement des prototypes gaussiens pour un rendu efficace et induit l'apprentissage des prototypes grâce à la perte de reconstruction. Pour améliorer encore l'efficacité mémoire, nous regroupons les primitives gaussiennes en utilisant des points SfM comme points d'ancrage. Au sein de chaque groupe, nous dérivons des prototypes gaussiens par clustering K-means et optimisons conjointement les points d'ancrage et les prototypes. Les résultats expérimentaux sur des jeux de données réels et synthétiques montrent que cette méthode surpasse les méthodes existantes, permettant une réduction importante du nombre de gaussiennes et une vitesse de rendu élevée tout en maintenant ou en améliorant la fidélité du rendu.

Takeaways, Limitations

Takeaways:
La réduction significative du nombre de primitives gaussiennes augmente la faisabilité du déploiement du 3DGS sur des appareils légers.
Nous présentons une technique de rendu efficace utilisant des prototypes gaussiens.
Amélioration de l'efficacité de la mémoire en exploitant les points SfM.
A obtenu une vitesse de rendu et une fidélité supérieures à celles des méthodes existantes.
Limitations:
Les performances de la méthode proposée peuvent être affectées par les performances du clustering K-means.
La précision des points SfM peut affecter les résultats.
Les performances peuvent être dégradées pour certains types de scènes.
👍