Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Apprentissage dynamique du programme d'études tenant compte de la difficulté pour une reconnaissance multimodale robuste des émotions avec modalités manquantes

Created by
  • Haebom

Auteur

Rui Liu, Haolin Zuo, Zheng Lian, Hongyu Yuan, Qi Fan

Contour

Cet article propose HARDY-MER, un cadre d'apprentissage dynamique du curriculum prenant en compte la difficulté, pour résoudre le problème de reconnaissance multimodale des émotions (MER) avec des modalités manquantes. Les méthodes existantes de reconstruction des modalités manquantes présentent des limites dans la mesure où elles ne tiennent pas compte des différences de difficulté de reconstruction entre les échantillons. HARDY-MER se compose de deux étapes : l'évaluation de la difficulté de l'échantillon et la mise en évidence stratégique des échantillons difficiles pour l'apprentissage. La difficulté de l'échantillon est mesurée grâce à un mécanisme d'évaluation de la difficulté multi-perspectives qui prend en compte la difficulté directe (erreur de reconstruction de modalité) et la difficulté indirecte (information mutuelle intermodale). Le processus d'apprentissage est régulé par une stratégie d'apprentissage dynamique du curriculum basée sur la récupération qui recherche des échantillons présentant des informations sémantiques similaires et ajuste le poids d'apprentissage entre les échantillons faciles et difficiles. Les résultats expérimentaux sur des jeux de données de référence démontrent que HARDY-MER surpasse les méthodes existantes.

Takeaways, Limitations

Takeaways:
Une nouvelle approche du problème de la reconnaissance des émotions multimodales avec des modalités manquantes est présentée.
Démontrer l’efficacité d’une stratégie d’apprentissage dynamique du programme qui améliore l’efficacité de l’apprentissage en tenant compte de la difficulté de l’échantillon.
Une mesure plus précise de la difficulté de l’échantillon est possible grâce à un mécanisme d’évaluation de la difficulté à perspectives multiples.
Nous présentons un modèle HARDY-MER qui surpasse les méthodes existantes et fournit du code source ouvert.
Limitations:
Des recherches supplémentaires sont nécessaires pour déterminer la généralité du mécanisme d’évaluation de la difficulté proposé et son applicabilité à divers ensembles de données.
Il existe un risque de biais en faveur de certains types de modalités manquantes.
Les résultats expérimentaux sur de grands ensembles de données peuvent faire défaut.
Une analyse comparative plus poussée avec d’autres stratégies d’apprentissage du programme scolaire peut être nécessaire.
👍