Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

El impacto de los stickers en el sentimiento y la intención multimodales en las redes sociales: una nueva tarea, conjunto de datos y línea de base

Created by
  • Haebom

Autor

Yuanchen Shi, Biao Ma, Longyin Zhang, Fang Kong

Describir

En este artículo, presentamos una nueva tarea, Análisis Multimodal de Sentimientos en Chats y Reconocimiento de Intenciones con Stickers (MSAIRS), para analizar la influencia de los stickers, que se utilizan cada vez más para expresar emociones e intenciones en redes sociales. Presentamos un nuevo conjunto de datos multimodal que contiene transcripciones de chats y stickers en chino, que incluye varios stickers con diferentes stickers para el mismo texto, diferentes contextos para el mismo sticker y diferentes textos para la misma imagen, para comprender mejor la influencia de los stickers en los sentimientos e intenciones en los chats. Además, proponemos un modelo conjunto multimodal eficaz, MMSAIR, que presenta una construcción de vectores discriminantes y un mecanismo de atención en cascada, que demuestra una mayor precisión mediante el refuerzo mutuo de emociones e intenciones. Los resultados experimentales muestran que MMSAIR supera a los modelos existentes y a los MLLM avanzados, lo que demuestra el desafío y la singularidad de la interpretación de stickers en redes sociales. El conjunto de datos y el código están disponibles en código abierto en GitHub.

Takeaways, Limitations

Takeaways:
Destacamos la importancia de los stickers en el análisis de sentimientos en las redes sociales y en la investigación de reconocimiento de intenciones y sugerimos nuevas direcciones de investigación.
Proponemos un conjunto de datos y un modelo multimodal que considera diferentes aspectos de las pegatinas (texto, imagen y contexto).
Demostramos experimentalmente la eficacia del modelado conjunto que tiene en cuenta la interdependencia de las emociones y las intenciones.
Contribuimos al desarrollo de la tecnología de análisis de emociones e intenciones basada en stickers presentando el modelo MMSAIR que supera a los modelos existentes.
Los conjuntos de datos y códigos disponibles públicamente proporcionan una base para futuras investigaciones.
Limitations:
El conjunto de datos actual se limita a datos de redes sociales chinas. Se requiere más investigación para determinar la generalización a otros idiomas y culturas.
Podría ser necesaria una mayor investigación para interpretar el significado visual de las pegatinas. Es posible que los modelos actuales no capturen plenamente las características visuales de las imágenes.
Es posible que no cubra todos los diferentes tipos de stickers ni las complejas situaciones de las redes sociales. Quizás se necesite un conjunto de datos más diverso y completo.
👍