Trong bài báo này, chúng tôi đề xuất một chuẩn mực mới, Bộ Kiểm tra Tương tự Tiếng Hindi (HATS), để đánh giá khả năng lập luận của các mô hình ngôn ngữ quy mô lớn (LLM) cho tiếng Hindi, một ngôn ngữ Ấn Độ. HATS bao gồm 405 câu hỏi trắc nghiệm được lấy từ các kỳ thi của chính phủ Ấn Độ và đánh giá các LLM đa ngôn ngữ tiên tiến bằng nhiều chiến lược gợi ý khác nhau. Đặc biệt, chúng tôi đề xuất một phương pháp tiếp cận Chuỗi Tư duy có cơ sở, tận dụng lý thuyết tương tự nhận thức để cải thiện hiệu suất mô hình đối với các bài toán tương tự tiếng Hindi. Kết quả thực nghiệm cho thấy hiệu suất mô hình tốt nhất khi sử dụng gợi ý tiếng Anh, bất kể chiến lược gợi ý nào. Nghiên cứu này giải quyết vấn đề thiếu hụt nguồn lực quan trọng để đánh giá khả năng lập luận của LLM tiếng Hindi.
