Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Razonamiento de cadena larga de pensamiento en diferentes idiomas

Created by
  • Haebom

Autor

Josh Barua, Seun Eisape, Kayo Yin, Alane Suhr

Describir

Este artículo explora la extensión multilingüe de los procesos de pensamiento de formato largo (CoTs), que contribuyen al rendimiento de inferencia mejorado de los modelos de lenguaje a gran escala (LLMs). Ajustamos los modelos Qwen 2.5 (7B) y Qwen 3 (8B) utilizando dos conjuntos de datos de inferencia basados ​​en inglés traducidos al francés, japonés, letón y suajili. Los experimentos revelaron que la efectividad del uso del inglés como idioma puente variaba entre idiomas (ineficaz para francés, efectiva para japonés y letón, y débil para suajili). Además, el preentrenamiento multilingüe extensivo en Qwen 3 redujo, pero no eliminó por completo, la brecha de rendimiento entre idiomas. El ajuste fino en un conjunto de datos pequeño (1k trazas) por sí solo mejoró el rendimiento en suajili en más de un 30%. Finalmente, el equilibrio entre la calidad de los datos y la escala varió entre idiomas: el inglés y el francés se beneficiaron de conjuntos de datos más pequeños y refinados, mientras que el suajili y el letón se beneficiaron de corpus más grandes y ruidosos. Estos resultados aclaran cómo y por qué los CoT largos se transfieren entre idiomas y proporcionan un conjunto de datos traducido para estudios de inferencia multilingües justos.

Takeaways, Limitations

Takeaways:
La eficacia del uso del inglés como lengua mediadora varía según el idioma.
Presentamos la importancia del aprendizaje de diccionarios multilingües y la efectividad del ajuste en conjuntos de datos pequeños.
Demostramos que el equilibrio entre la calidad de los datos y la escala varía según el idioma.
Proporcionar conjuntos de datos traducidos para la investigación de inferencia multilingüe.
Limitations:
El número de idiomas utilizados en el estudio es limitado.
Existe la posibilidad de que los resultados se limiten a un modelo LLM específico.
Se necesita más investigación sobre la generalización a diferentes tipos de tareas de razonamiento.
👍