Dans cet article, nous proposons le cadre KAN-MCP pour résoudre les problèmes de manque d'interprétabilité et de déséquilibre modal de l'analyse multimodale des sentiments (MSA). KAN-MCP combine l'interprétabilité des réseaux de Kolmogorov-Arnold (KAN) et la robustesse du cadre Multimodal Clean Pareto (MCPareto). KAN analyse de manière transparente les interactions intermodales par décomposition de fonctions univariées, et MCPareto traite le déséquilibre modal et l'interférence de bruit à l'aide de la méthode DRD-MIB (Dimensionality Reduction and Denoising Modal Information Bottleneck). DRD-MIB réduit la dimensionnalité des caractéristiques et supprime le bruit pour fournir des entrées discriminantes de faible dimension à KAN, réduisant ainsi la complexité de la modélisation et préservant les informations liées aux sentiments. MCPareto utilise la sortie de DRD-MIB pour ajuster dynamiquement les contributions du gradient intermodal afin de garantir une transmission sans perte des signaux auxiliaires et d'atténuer efficacement le déséquilibre modal. En conséquence, KAN-MCP atteint d'excellentes performances sur des ensembles de données de référence tels que CMU-MOSI, CMU-MOSEI et CH-SIMS v2, et fournit une interface de visualisation intuitive grâce à l'architecture interprétable de KAN.
