Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

REMOTE : Un cadre d'extraction de relations multimodales unifié avec transport optimal multiniveau et mélange d'experts

Created by
  • Haebom

Auteur

Xinkui Lin, Yongxiu Xu, Minghao Tang, Shilong Zhang, Hongbo Xu, Hao Xu, Yubin Wang

Contour

Cet article propose REMOTE, un nouveau cadre unifié pour l'extraction de relations multimodales (MRE). REMOTE extrait simultanément les relations intra- et intermodales entre entités textuelles et objets visuels en exploitant le transport optimal multiniveau et un mélange d'experts. Il évite l'extraction de relations uniques et la duplication des calculs inhérents aux méthodes existantes, et sélectionne dynamiquement les caractéristiques d'interaction optimales pour différents triplets de relations grâce à un mécanisme de mélange d'experts. De plus, il introduit un module de fusion de transport optimal multiniveau, préservant les avantages du codage multicouche sans perte d'informations de bas niveau, générant ainsi des représentations plus expressives. Nous évaluons l'efficacité de REMOTE sur un nouvel ensemble de données, UMRE, et atteignons des performances de pointe sur les ensembles de données MRE existants. Le code source est disponible sur GitHub.

Takeaways, Limitations

•
Takeaways:
◦
Présentation d'un cadre intégré pour extraire simultanément différents types de triplets de relations.
◦
Extraction de relations efficace et expressive grâce à une propagation optimale multicouche et à des mécanismes de mélange experts.
◦
ÉValuation et comparaison objective des performances à travers la construction de l'ensemble de données UMRE.
◦
Atteindre des performances de pointe et activer la recherche grâce à la divulgation de sources ouvertes
•
Limitations:
◦
La taille et la diversité de l’ensemble de données de l’UMRE pourraient être améliorées à l’avenir.
◦
Il peut y avoir des différences de performances pour certains types de relations.
◦
La complexité de calcul des modules de transmission optimaux multicouches peut être élevée.
👍
Made with Slashpage