Dans cet article, nous proposons un cadre d'adaptation séparable à mélange d'instructions de bas rang (SMoLoRA) pour résoudre le problème du double oubli catastrophique dans l'adaptation continue des instructions visuelles (CVIT). Les études existantes sur le CVIT ont négligé le problème de la détérioration des capacités de compréhension visuelle et de suivi des instructions lors de l'application du paradigme traditionnel d'apprentissage continu. Le SMoLoRA prévient le double oubli catastrophique et améliore les performances en permettant une adaptation spécifique au domaine par des chemins distincts via deux modules indépendants pour la compréhension visuelle et l'exécution des instructions. De plus, nous proposons un nouveau benchmark CVIT qui évalue la capacité de généralisation à une plus grande variété d'instructions et de tâches inconnues que les benchmarks existants. Les résultats expérimentaux montrent que le SMoLoRA surpasse les méthodes existantes pour atténuer le double oubli, améliorer les performances de généralisation à des tâches inconnues et garantir la robustesse à diverses instructions.
