ADAGE: A Language-Agnostic Pipeline for Analogical Reasoning Evaluation
작성자
카테고리
Empty
저자
Ahmed Haj Ahmed, Alvin Grissom II
💡 개요
본 논문은 영어 중심의 번역 기반 평가에서 벗어나, 문화적으로 고유한 추론 능력을 측정하기 위한 언어 불가지론적 파이프라인인 ADAGE를 제안한다. ADAGE는 원어민 검수와 LLM 보조 생성을 결합하여 추상적 유추 추론에 대한 번역 없는 도전적인 벤치마크를 구축한다. 아랍어, 암하라어, 일본어에 대한 벤치마크를 구축하고 14개의 오픈웨이트 모델을 평가한 결과, 영어와 비교하여 12-52%p의 정확도 하락을 보이는 일관된 문화적 추론 격차를 발견했다.
🔑 시사점 및 한계
•
기존 영어 중심의 다국어 추론 평가가 언어적 편향과 문화적 고유성을 간과하는 문제점을 지적하고, 이를 해결하기 위한 실질적인 방법론을 제시한다.
•
ADAGE 파이프라인 및 구축된 벤치마크는 다양한 언어와 문화권에서의 AI 모델 추론 능력 평가에 중요한 기여를 할 것으로 기대된다.
•
현재 벤치마크가 추상적 유추 추론에 초점을 맞추고 있으므로, 보다 다양한 종류의 문화적 추론 능력을 포괄하는 연구가 필요하다.
