[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Adaptador semántico para incrustaciones de texto universales: diagnóstico y mitigación de la ceguera a la negación para mejorar la universalidad

Created by
  • Haebom

Autor

Hongliu Cao

Describir

Este artículo realiza un análisis profundo sobre la capacidad de reconocimiento de negación de los modelos universales de incrustación de texto de última generación. Estudios previos han demostrado que los modelos de incrustación de texto contextual como BERT, ELMO, RoBERTa y XLNet tienen dificultades para comprender con precisión la negación, pero la capacidad de reconocimiento de negación de los modelos universales de incrustación de texto no ha sido clara debido al sesgo de los puntos de referencia de evaluación. En este estudio, encontramos que los modelos universales de incrustación de texto de última generación no reconocen la negación y tienden a interpretar pares de texto negados como semánticamente similares. Para abordar este problema, proponemos un método de reponderación de incrustación eficiente desde el punto de vista de los datos y computacional sin modificar los parámetros de los modelos de incrustación de texto. El método propuesto mejora la capacidad de reconocimiento de negación de los modelos de incrustación de texto en tareas de comprensión de negación tanto simples como complejas, y también mejora la capacidad de reconocimiento de negación de incrustaciones de texto universales de alta dimensión y específicas para tareas basadas en modelos de lenguaje a gran escala.

Takeaways, Limitations

Takeaways:
Proporcionamos un análisis en profundidad de la capacidad del modelo de incrustación de texto universal para reconocer palabras negativas.
Presentamos un método de reponderación de incrustaciones eficiente desde el punto de vista computacional y de datos que puede superar las limitaciones de los modelos existentes en el reconocimiento de palabras negativas.
El método propuesto demuestra un rendimiento mejorado en varias tareas de comprensión de palabras negativas.
También demuestra aplicabilidad a incrustaciones basadas en modelos de lenguaje a gran escala.
Limitations:
Se necesitan más estudios para investigar el rendimiento de generalización del método propuesto.
La experimentación en distintos idiomas y dominios puede ser limitada.
Es posible que no se haya abordado plenamente el sesgo de los criterios de evaluación.
👍