본 논문은 인도어(Hindi)의 유추 능력 평가를 위한 새로운 데이터셋인 HATS(Hindi Analogy Test Set)를 제시합니다. HATS는 인도 정부 시험에서 발췌한 405개의 객관식 문제로 구성되며, 다양한 언어 모델의 유추 능력을 평가하는 데 활용됩니다. 논문에서는 최첨단 다국어 LLM들을 다양한 프롬프팅 전략과 인지 이론에 기반한 grounded Chain of Thought 접근 방식을 사용하여 평가하고, Hindi 유추 문제에서 모델 성능을 향상시키는 방법을 제시합니다. 실험 결과, 프롬프팅 전략에 관계없이 영어 프롬프트를 사용했을 때 모델 성능이 가장 우수한 것으로 나타났습니다. 본 연구는 Hindi 언어의 LLM 추론 능력 평가를 위한 중요한 자원 부족 문제를 해결합니다.
