Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Autoencodeurs variationnels hypersphériques utilisant une distribution de Cauchy sphérique efficace

Created by
  • Haebom

Auteur

Lukas Sablica, Kurt Hornik

Contour

Dans cet article, nous proposons une nouvelle architecture d'autoencodeur variationnel (VAE) utilisant la distribution latente sphérique de Cauchy (spCauchy). Contrairement à l'espace latent gaussien traditionnel ou à la distribution de von Mises-Fisher (vMF), largement utilisée, spCauchy offre une représentation hypersphérique plus naturelle des variables latentes, qui capture mieux les données directionnelles tout en préservant la flexibilité. Sa nature à queue lourde empêche la surrégularisation, garantissant une utilisation efficace de l'espace latent tout en offrant une représentation plus expressive. De plus, nous abordons l'instabilité numérique de vMF causée par le calcul de constantes de régularisation impliquant des fonctions de Bessel. À la place, nous activons une astuce de reparamétrisation entièrement différentiable et efficace via la transformée de Möbius, permettant un apprentissage stable et évolutif. La divergence KL peut être calculée via une série entière à convergence rapide, éliminant ainsi les problèmes de dépassement ou de sous-dépassement associés à l'évaluation du rapport des fonctions hypergéométriques. Ces propriétés font de spCauchy une alternative intéressante aux VAE pour la modélisation générative de haute dimension, offrant à la fois des avantages théoriques et une efficacité pratique.

Takeaways, Limitations

Takeaways:
Une nouvelle architecture VAE est présentée pour modéliser efficacement les données d'orientation en utilisant la distribution sphérique de Cauchy.
Résoudre les problèmes d'instabilité numérique de la distribution vMF et permettre un apprentissage efficace
Empêchez la sur-régularisation et améliorez l'utilisation de l'espace latent avec des fonctionnalités à queue lourde
Augmentation de la stabilité et de l'efficacité des calculs de divergence KL
Limitations:
Une vérification expérimentale supplémentaire des performances réelles et des performances de généralisation de l’architecture proposée est nécessaire.
Difficultés possibles dans l'interprétation de l'espace latent en raison des caractéristiques de la distribution sphérique de Cauchy
Des recherches supplémentaires sont nécessaires sur l’applicabilité à d’autres types de données ou à des données de grande dimension.
👍