Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

TerraMind : Multimodalité générative à grande échelle pour l'observation de la Terre

Created by
  • Haebom

Auteur

Johannes Jakubik, Felix Yang, Benedikt Blumenstiel, Erik Scheurer, Rocco Sedona, Stefano Maurogiovanni, Jente Bosmans, Nikolaos Dionelis, Valerio Marsocci, Niklas Kopp, Rahul Ramachandran, Paolo Fraccaro, Thomas Brunschwiler, Gabriele Cavallaro, Juan Bernabe-Moreno, Nicolas Long ep e

Contour

TerraMind est le premier modèle multimodal génératif « any-to-any » pour l'observation de la Terre (OT). Contrairement aux autres modèles multimodaux, il est pré-entraîné sur une représentation à double échelle combinant des données au niveau des jetons et des pixels. Au niveau des jetons, il encode des informations contextuelles de grande dimension pour apprendre les relations intermodales, tandis qu'au niveau des pixels, il exploite des représentations fines pour capturer d'importantes subtilités spatiales. Il est pré-entraîné sur neuf modalités géospatiales issues de jeux de données à grande échelle du monde entier, et son approche de fusion précoce à double échelle permet diverses applications d'OT à zéro et à quelques coups. Il introduit également la fonctionnalité « Thinking-in-Modalities » (TiM) qui améliore les résultats du modèle en générant des données artificielles supplémentaires lors des ajustements et des inférences, atteignant ainsi des performances de pointe sur les benchmarks standards d'OT tels que PANGAEA. Le jeu de données pré-entraîné, les pondérations du modèle et le code sont accessibles au public.

Takeaways, Limitations

•
Takeaways:
◦
Présentation du premier modèle multimodal génératif basé sur l'observation de la Terre
◦
Présentation d'une méthode d'apprentissage multimodale efficace utilisant une représentation à double échelle
◦
Améliorer les performances des modèles grâce à la « Pensée en modalités » (TiM)
◦
ÉLargissement du potentiel des applications EO à tir nul et à tir réduit
◦
Atteindre des performances de pointe sur le benchmark PANGAEA
◦
Développer la recherche et promouvoir l'utilisation grâce à la divulgation de sources ouvertes
•
Limitations:
◦
Le Limitations spécifique n'est pas explicitement mentionné dans l'article. Des expériences et analyses supplémentaires sont nécessaires pour le confirmer.
◦
Dépendance à un grand ensemble de données : les performances peuvent être considérablement affectées par la qualité et la quantité de l’ensemble de données.
◦
Interprétabilité du modèle : Puisqu'il s'agit d'un modèle de boîte noire, il peut être difficile d'interpréter le processus de prise de décision du modèle.
👍
Made with Slashpage