L'affinage PAN est une technique permettant de générer des images multispectrales haute résolution (HRMS) en synthétisant des images panchromatiques haute résolution (PAN) avec des images multispectrales basse résolution (MS). Cependant, les erreurs d'alignement entre les modalités, dues aux différences de placement des capteurs, de temps d'acquisition et de résolution, constituent des défis majeurs. Les méthodes d'apprentissage profond existantes supposent un alignement parfait des pixels et s'appuient sur une perte de reconstruction pixel par pixel, ce qui entraîne une distorsion spectrale, des doubles contours et un flou en cas d'erreurs d'alignement. Dans cet article, nous proposons PAN-Crafter, un cadre d'alignement cohérent entre les modalités qui atténue explicitement les erreurs d'alignement entre les modalités PAN et MS. Fondamentalement, un réseau unique reconstruit conjointement les images HRMS et PAN grâce à la reconstruction adaptative aux modalités (MAR), et les détails haute fréquence du PAN sont utilisés comme auto-supervision auxiliaire. De plus, un mécanisme d'attention sensible à l'alignement intermodal (CM3A) est introduit pour aligner la texture MS et la structure PAN, permettant une amélioration adaptative des fonctionnalités entre les modalités.
