Dans cet article, nous présentons un nouvel ensemble de données, le Hindi Analogy Test Set (HATS), permettant d'évaluer les performances d'analogie en hindi. Le HATS se compose de 405 questions à choix multiples tirées d'examens gouvernementaux indiens et permet d'évaluer les performances d'analogie de divers modèles linguistiques. Dans cet article, nous évaluons des LLM multilingues de pointe à l'aide de diverses stratégies d'incitation et d'une approche fondée sur la chaîne de pensée fondée sur la théorie cognitive. Nous proposons également une méthode pour améliorer les performances des modèles aux tâches d'analogie en hindi. Les résultats expérimentaux montrent que les performances du modèle sont optimales lorsque des invites en anglais sont utilisées, quelle que soit la stratégie d'incitation. Cette étude aborde le manque critique de ressources pour évaluer les performances de raisonnement des LLM en hindi.
