En este artículo, presentamos un novedoso conjunto de datos, el Conjunto de Pruebas de Analogía en Hindi (HATS), para evaluar el rendimiento en analogías en hindi. El HATS consta de 405 preguntas de opción múltiple extraídas de exámenes del gobierno indio y se utiliza para evaluar el rendimiento en analogías de diversos modelos lingüísticos. En este artículo, evaluamos programas de aprendizaje de larga duración (LLM) multilingües de vanguardia utilizando diversas estrategias de estímulo y un enfoque de cadena de pensamiento fundamentado en la teoría cognitiva, y sugerimos un método para mejorar el rendimiento del modelo en tareas de analogía en hindi. Los resultados experimentales muestran que el rendimiento del modelo es óptimo cuando se utilizan estímulos en inglés, independientemente de la estrategia de estímulo. Este estudio aborda la grave escasez de recursos para evaluar el rendimiento del razonamiento de los LLM en hindi.
