Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Los LLM multilingües no son pensadores multilingües: evidencia de la evaluación de analogías con hindi

Created by
  • Haebom

Autor

Ashray Gupta, Rohan Joseph, Sunny Rai

Describir

En este artículo, proponemos un nuevo modelo de referencia, el Conjunto de Pruebas de Analogía para Hindi (HATS), para evaluar la capacidad de razonamiento de los modelos lingüísticos a gran escala (LLM) en hindi, una lengua india. El HATS consta de 405 preguntas de opción múltiple extraídas de exámenes del gobierno indio y evalúa modelos lingüísticos a gran escala (LLM) multilingües de vanguardia mediante diversas estrategias de estimulación. En particular, proponemos un enfoque fundamentado de Cadena de Pensamiento que aprovecha la teoría de analogías cognitivas para mejorar el rendimiento del modelo en problemas de analogía en hindi. Los resultados experimentales muestran que el rendimiento del modelo es óptimo cuando se utilizan estímulos en inglés, independientemente de la estrategia de estimulación. Este estudio aborda el problema crítico de la escasez de recursos para evaluar la capacidad de razonamiento de los LLM en hindi.

Takeaways, Limitations

Takeaways:
Proporciona un nuevo punto de referencia (HATS) para evaluar la capacidad de razonamiento de los LLM en idiomas indios, incluido el hindi.
Mejora de las habilidades de resolución de problemas analógicos en hindi en LLM a través del enfoque de cadena de pensamiento fundamentada.
Mejorar la comprensión de las capacidades de generalización lingüística de los LLM multilingües.
Comprueba la eficacia de los mensajes en inglés.
Limitations:
HATS se basa en preguntas del examen del gobierno de la India y, por lo tanto, es posible que no refleje perfectamente las típicas preguntas de analogía en hindi.
El estudio actual se limita a un LLM específico y a una estrategia de estímulo, lo que limita la generalización a otros modelos o estrategias.
Es necesario un mayor análisis y justificación de la superioridad del mensaje en inglés.
👍