Dans cet article, nous présentons un nouvel algorithme, SPOT (Sparse Position and Outline Tracking), pour résoudre les difficultés d'interprétation des cartes de chaleur météorologiques. SPOT identifie et localise avec précision les régions des cartes de chaleur présentant des formes irrégulières et des variations de couleurs complexes, permettant ainsi des représentations structurées. Sur cette base, nous construisons ClimateIQA, un nouvel ensemble de données météorologiques de type questions-réponses visuelles (VQA) composé de 26 280 cartes de chaleur haute résolution et de 762 120 échantillons d'instructions pour l'analyse de la vitesse du vent, des précipitations, de la température perçue et de l'indice d'inconfort. ClimateIQA améliore l'apprentissage VLM en intégrant des indices spatiaux, des métadonnées géographiques et des données de réanalyse. Enfin, nous développons Climate-Zoo, un VLM optimisé basé sur ClimateIQA utilisant SPOT, qui améliore considérablement les performances des tâches de cartes de chaleur météorologiques par rapport aux modèles existants.
