Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Apprentissage continu pour de multiples modalités

Created by
  • Haebom

Auteur

Hyundong Jin, Eunwoo Kim

Contour

Cet article propose un nouveau cadre d'apprentissage continu dans des scénarios impliquant plusieurs modalités (images, vidéo, audio, profondeur et texte). Pour surmonter les limites des méthodes d'apprentissage continu monomodales existantes, nous utilisons une approche qui entraîne des modèles alignant différentes modalités sur du texte. Pour résoudre le problème de l'oubli des connaissances existantes dû aux différences entre les modalités, nous présentons un cadre qui intègre les connaissances au sein des modalités et les informations intermodales pertinentes. Ce cadre autorégule les changements dans les représentations apprises pour intégrer progressivement les nouvelles connaissances et intègre sélectivement les connaissances acquises précédemment à partir des modalités en fonction de leurs interrelations, atténuant ainsi les interférences entre les modalités. De plus, nous introduisons une stratégie de réalignement des intégrations de modalités afin de corriger les biais d'alignement entre les modalités. Nous évaluons la méthode proposée sur un large éventail de scénarios d'apprentissage continu sur plusieurs ensembles de données utilisant différentes modalités, et démontrons expérimentalement qu'elle surpasse les méthodes existantes, que l'identité de la modalité soit spécifiée ou non.

Takeaways, Limitations

Takeaways:
Une nouvelle approche des problèmes d’apprentissage continu multimodal.
Proposer une stratégie efficace pour l’intégration des connaissances intermodales et l’atténuation des interférences.
Résoudre les problèmes de biais grâce à la réorganisation de l'intégration des modalités
A démontré des performances supérieures par rapport aux méthodes existantes dans divers ensembles de données et scénarios.
Limitations:
Manque d’analyse du coût de calcul et de la complexité de la méthode proposée.
Manque d'évaluation des performances de généralisation pour des combinaisons de modalités spécifiques
Manque de discussion sur l’applicabilité et les limites dans les applications du monde réel.
👍