Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Dévoiler des descriptions multi-images pour la détection multilingue des troubles cognitifs légers via l'apprentissage contrastif

Created by
  • Haebom

Auteur

Kristin Qi, Jiali Cheng, Youxiang Zhu, Hadi Amiri, Xiaohui Liang

Contour

Cet article propose un nouveau cadre pour relever les défis de la détection des troubles cognitifs légers (TCL) par le biais de descriptions d'images dans des environnements multilingues et multi-images. Contrairement aux études précédentes qui se concentraient principalement sur les descriptions d'images uniques pour les anglophones, cet article prend en compte les utilisateurs multilingues et les images multiples et présente trois composantes : l'apprentissage contrastif supervisé pour améliorer l'apprentissage discriminatif des représentations, l'intégration des modalités d'images et une stratégie de Produit d'Experts (PoE) pour atténuer les corrélations parasites et le surapprentissage. Le cadre proposé améliore le rappel moyen non pondéré (UAR) de 7,1 % (de 68,1 % à 75,2 %) et le score F1 de 2,9 % (de 80,6 % à 83,5 %) par rapport aux repères unimodaux textuels existants. De plus, la composante d'apprentissage contrastif démontre des gains de performance plus importants pour le texte que pour la parole.

Takeaways, Limitations

Takeaways:
Un nouveau cadre est présenté pour améliorer les performances de détection MCI dans des environnements multilingues et multi-images.
Démontrer l'efficacité de l'apprentissage contrastif supervisé, de l'intégration des modalités d'image et des stratégies PoE.
Soulignant l'utilité de l'apprentissage contrastif dans les modalités textuelles
Contribuer aux avancées technologiques dans le domaine de la détection MCI
Limitations:
Une vérification supplémentaire des performances de généralisation du cadre proposé est nécessaire.
La nécessité d’une expérimentation approfondie dans des contextes linguistiques et culturels divers
Considérer le potentiel de biais dans des types d'images spécifiques et explorer des solutions
Des recherches supplémentaires sont nécessaires pour une application dans des contextes cliniques réels.
👍