Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Un cadre théorique pour l'apprentissage contrastif auto-supervisé pour les données dépendantes continues

Created by
  • Haebom

Auteur

Alexander Marusov, Alexandr Yugay, Alexey Zaytsev

Contour

Cet article aborde l'application de l'apprentissage auto-supervisé (SSL) aux données dépendantes (par exemple, séries chronologiques, données spatio-temporelles). Les méthodes SSL existantes basées sur l'apprentissage contrastif supposent une indépendance sémantique entre les échantillons, mais cette hypothèse est erronée pour les données dépendantes présentant des corrélations complexes. Par conséquent, cet article présente un nouveau cadre théorique SSL d'apprentissage contrastif adapté aux données dépendantes continues. Nous proposons deux mesures de similarité de vérité terrain, la proximité « dure » ​​et « douce », et, sur cette base, dérivons une forme analytique de la matrice de similarité estimée qui prend en compte les deux types de proximité entre les échantillons, présentant ainsi une fonction de perte prenant en compte la dépendance. La méthode proposée, Dependent TS2Vec, surpasse les méthodes existantes sur les sous-problèmes temporels et spatio-temporels, obtenant des améliorations de précision de 4,17 % et 2,08 % sur les benchmarks UEA et UCR, respectivement, et un score ROC-AUC supérieur de 7 % sur la tâche de classification de la sécheresse avec des schémas spatio-temporels complexes.

Takeaways, Limitations

Takeaways:
Nous présentons un nouveau cadre théorique pour l’apprentissage auto-supervisé pour les données dépendantes et dérivons une fonction de perte qui prend en compte la dépendance.
Le TS2Vec dépendant proposé a montré des performances supérieures dans l'analyse des données temporelles et spatio-temporelles par rapport aux méthodes existantes.
Nous avons validé expérimentalement les améliorations de performances sur diverses tâches d'analyse de données dépendantes (UEA, benchmark UCR, classification de la sécheresse).
Limitations:
Des recherches supplémentaires sont nécessaires pour explorer la généralisabilité des mesures de proximité « dures » et « douces » proposées.
ÉTant donné que cette fonction de perte est optimisée pour un type spécifique de données dépendantes, son applicabilité à d’autres types de données dépendantes doit être vérifiée plus en détail.
Une évaluation plus approfondie de l’évolutivité est nécessaire, car les résultats expérimentaux sur de grands ensembles de données ne sont pas présentés.
👍