Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Evaluación de la alineación multilingüe y de código conmutado en LLM mediante inferencia sintética del lenguaje natural

Created by
  • Haebom

Autor

Samir Abdaljalil, Erchin Serpedin, Khalid Qaraqe, Hasan Kurban

Describir

Este artículo presenta un marco de evaluación controlado para evaluar la capacidad de los modelos lingüísticos a gran escala (LLM) para fundamentar de forma consistente y lógica su consistencia en entornos multilingües. Generamos pares premisa-hipótesis sintéticos, basados ​​en la lógica, traducidos a un conjunto morfológicamente diverso de idiomas y realizamos pruebas tanto en condiciones monolingües como en idiomas mixtos (alternativa de código). Demostramos el sorprendente resultado de que la alternancia de código puede mejorar el rendimiento en lugar de degradarlo, lo que sugiere que los cambios léxicos inducidos por la traducción pueden servir como señales reguladoras. Verificamos la fidelidad de los pares traducidos mediante análisis de similitud basado en incrustación y visualización de alineamiento entre idiomas. En conclusión, demostramos el potencial y las vulnerabilidades de la inferencia entre idiomas actual en los LLM y presentamos la alternancia de código como un enfoque prometedor para mejorar la robustez multilingüe.

Takeaways, Limitations

Takeaways:
Presentación de un marco controlado para la evaluación NLI multilingüe.
Demostramos que el cambio de código puede contribuir a mejorar el rendimiento del razonamiento multilingüe del LLM.
Sugerimos que los cambios léxicos debidos a la traducción pueden actuar como señales reguladoras para el modelo.
Demuestra simultáneamente el potencial y la vulnerabilidad de las capacidades de razonamiento interlingüístico del LLM.
Limitations:
La evaluación basada en datos sintéticos requiere la verificación de la generalización a datos del mundo real.
Se necesitan más investigaciones para determinar la generalización de los resultados a conjuntos de idiomas y LLM específicos.
Es necesario un análisis más profundo de los efectos del cambio de código y la identificación de sus mecanismos.
👍