Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

CURE: Desaprendizaje controlado para incrustaciones robustas: mitigación de atajos conceptuales en modelos de lenguaje preentrenados

Created by
  • Haebom

Autor

Aysenur Kocak, Shuo Yang, Bardh Prenkaj, Gjergji Kasneci

Describir

Este artículo presenta CURE, un novedoso marco de trabajo ligero para abordar las correlaciones espurias basadas en conceptos que comprometen la robustez y la imparcialidad de los modelos lingüísticos preentrenados. CURE extrae representaciones irrelevantes para los conceptos mediante un extractor de contenido alimentado por una red de inversión, minimizando la pérdida de información relevante para la tarea. Un módulo de dessesgo controlable afina la influencia de las claves conceptuales residuales mediante aprendizaje contrastivo, lo que permite al modelo reducir los sesgos perjudiciales o aprovechar las correlaciones beneficiosas adecuadas para la tarea objetivo. Evaluado en los conjuntos de datos de IMDB y Yelp utilizando tres arquitecturas preentrenadas, CURE logra mejoras absolutas de rendimiento de +10 puntos en las puntuaciones F1 en IMDB y +2 puntos en Yelp, a la vez que minimiza la sobrecarga computacional. Este estudio presenta un modelo flexible, basado en aprendizaje no supervisado, para abordar el sesgo conceptual, allanando el camino para sistemas de comprensión del lenguaje más fiables y equitativos.

Takeaways, Limitations

•
Takeaways:
◦
Presentamos CURE, un marco liviano que aborda eficazmente el problema del sesgo conceptual en modelos de lenguaje pre-entrenados.
◦
Se lograron mejoras de rendimiento significativas en los conjuntos de datos de IMDB y Yelp.
◦
Minimizar la sobrecarga computacional.
◦
Gane flexibilidad con métodos de aprendizaje no supervisados.
◦
Presentando la posibilidad de construir un sistema de comprensión del lenguaje más confiable y justo.
•
Limitations:
◦
El rendimiento de la generalización debe verificarse en conjuntos de datos distintos del conjunto de datos presentado (IMDB, Yelp).
◦
Es necesario evaluar la aplicabilidad de varios tipos de sesgos conceptuales.
◦
Se necesita más investigación sobre la optimización de hiperparámetros de redes de inversión y aprendizaje contrastivo.
◦
Se necesita más investigación sobre la interpretabilidad y transparencia de CURE.
👍
Made with Slashpage