Este artículo propone una investigación para resolver los problemas de los métodos existentes sobre la excesiva dependencia de las correlaciones intermodales y el bajo rendimiento en datos con correlaciones débiles en el campo del análisis de sentimiento multimodal, lo cual es útil para diversas aplicaciones. A diferencia de los métodos existentes basados en la interacción modal, la transformación modal y la similitud modal, proponemos un modelo de aprendizaje semisupervisado de dos etapas llamado Transformador Multimodal Consciente de la Correlación (CorMulT). En la fase de preentrenamiento, CorMulT aprende eficientemente los coeficientes de correlación intermodal a través de un módulo de aprendizaje contrastivo de correlación modal, y en la fase de predicción, realiza la predicción de sentimiento integrando los coeficientes de correlación aprendidos con las representaciones modales. Los resultados experimentales en el conjunto de datos CMU-MOSEI muestran que CorMulT supera a los métodos de análisis de sentimiento multimodal de última generación.
