Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Detección de publicaciones de texto con valor expresivo en las redes sociales rusas

Created by
  • Haebom

Autor

María Milkova, Maksim Rudnev, Lidia Okolskaya

Describir

Este trabajo busca desarrollar un modelo que detecte con precisión publicaciones que expresan valor en la red social rusa VKontakte. Creemos que estudiar los valores personales en redes sociales puede arrojar luz sobre cómo y por qué evolucionan, especialmente cuando los métodos basados ​​en estímulos, como las encuestas, resultan ineficaces (p. ej., para poblaciones de difícil acceso). Anotamos 5035 publicaciones utilizando tres expertos, 304 crowdworkers y ChatGPT, y entrenamos varios modelos de clasificación utilizando incrustaciones de varios modelos de lenguaje preentrenados basados ​​en transformadores, aplicando un conjunto de anotaciones asistidas por humanos y por IA, incluyendo un enfoque de aprendizaje activo. El mejor rendimiento (F1 = 0,75, F1-macro = 0,80) se logra utilizando incrustaciones del modelo rubert-tiny2 optimizado, lo que supone un avance importante en el estudio de los valores dentro y entre los usuarios de redes sociales rusas. El acuerdo entre los trabajadores colectivos y los expertos en la clasificación de correos es moderado: ChatGPT muestra una mayor consistencia pero tiene dificultades con la detección de spam.

Takeaways, Limitations

Takeaways: Se desarrolló con éxito un modelo que detecta publicaciones que expresan valor en redes sociales rusas con alta precisión, lo que puede contribuir al estudio de las expresiones de valor de los usuarios rusos de redes sociales. Demuestra la eficacia de la anotación de datos mediante la colaboración entre humanos e IA.
Limitations: La concordancia de anotaciones entre los trabajadores de la comunidad y los expertos fue solo moderada. ChatGPT tuvo dificultades para detectar spam. El rendimiento del modelo se limitó a la red social rusa VKontakte, por lo que se requiere más investigación sobre la generalización. Es posible que el sesgo del conjunto de datos afecte el rendimiento del modelo.
👍