Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

CURE: Desaprendizaje controlado para incrustaciones robustas: mitigación de atajos conceptuales en modelos de lenguaje preentrenados

Created by
  • Haebom

Autor

Aysenur Kocak, Shuo Yang, Bardh Prenkaj, Gjergji Kasneci

Describir

Este artículo presenta CURE, un novedoso marco de trabajo ligero para abordar las correlaciones espurias basadas en conceptos que comprometen la robustez y la imparcialidad de los modelos lingüísticos preentrenados. CURE extrae representaciones irrelevantes para los conceptos mediante un extractor de contenido dedicado y una red de inversión, minimizando la pérdida de información relevante para la tarea. Un módulo de dessesgo controlable afina la influencia de las claves conceptuales residuales mediante aprendizaje contrastivo, lo que permite al modelo reducir los sesgos perjudiciales o aprovechar las correlaciones beneficiosas adecuadas para la tarea objetivo. Evaluado en los conjuntos de datos de IMDB y Yelp utilizando tres arquitecturas preentrenadas, CURE mejoró la puntuación F1 en 10 puntos en IMDB y 2 puntos en Yelp, a la vez que minimizó la sobrecarga computacional. Este estudio presenta un diseño flexible, basado en aprendizaje no supervisado, para abordar el sesgo conceptual, allanando el camino para sistemas de comprensión del lenguaje más fiables y justos.

Takeaways, Limitations

•
Takeaways:
◦
Presentamos un marco ligero y eficaz para abordar el problema del sesgo conceptual en modelos de lenguaje previamente entrenados.
◦
Demuestra mejoras significativas en el rendimiento de los conjuntos de datos de IMDB y Yelp.
◦
Un enfoque flexible, basado en el aprendizaje no supervisado, que ofrece aplicabilidad a una amplia gama de tareas.
◦
Alta aplicabilidad práctica debido a la baja sobrecarga computacional
•
Limitations:
◦
Se necesitan más experimentos para evaluar el rendimiento de generalización del método propuesto.
◦
La necesidad de un análisis de los efectos de varios tipos de sesgos conceptuales.
◦
Se necesita más investigación para determinar si la optimización del rendimiento es factible para conjuntos de datos específicos.
👍
Made with Slashpage