Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Kuwain 1.5B: Un SLM árabe mediante inyección de lenguaje

Created by
  • Haebom

Autor

Khalil Hennara, Sara Chrouf, Mohamed Motaism Hamed, Zeina Aldallal, Omar Hadid, Safwan AlModhayan

Describir

Este artículo presenta un método novedoso para integrar eficientemente un nuevo idioma en un modelo lingüístico a gran escala (LLM) existente. Entrenamos un modelo pequeño, de código abierto y basado en inglés, Kuwain, con 1500 millones de parámetros, inyectándole árabe. Logramos una mejora promedio del 8 % en el rendimiento en árabe, preservando el conocimiento existente, lo que ofrece una alternativa rentable al entrenamiento de un modelo integral tanto para inglés como para árabe. Esto demuestra el potencial para un escalamiento eficiente y orientado a objetivos de modelos lingüísticos sin necesidad de un reentrenamiento exhaustivo ni procesos que consuman muchos recursos.

Takeaways, Limitations

Takeaways:
Una nueva forma de agregar eficientemente nuevos idiomas a los LLM existentes.
Mejoró el rendimiento en el idioma de destino (8 % en promedio) y minimizó la pérdida de conocimiento existente.
Presentamos la posibilidad de desarrollar de manera rentable un programa LLM multilingüe sin necesidad de una capacitación extensiva.
Limitations:
El modelo de Kuwain es relativamente pequeño (1.500 millones de parámetros), por lo que su rendimiento cuando se aplica a modelos más grandes es incierto.
Se necesitan más investigaciones sobre la generalización en diferentes idiomas y pares de idiomas específicos.
La efectividad del método propuesto puede variar dependiendo del modelo de código abierto utilizado y de las características del lenguaje de destino.
👍