ECLeKTic: a Novel Challenge Set for Evaluation of Cross-Lingual Knowledge Transfer
Created by
- Haebom
Category
Empty
저자
Omer Goldman, Uri Shaham, Dan Malkin, Sivan Eiger, Avinatan Hassidim, Yossi Matias, Joshua Maynez, Adi Mayrav Gilady, Jason Riesa, Shruti Rijhwani, Laura Rimell, Idan Szpektor, Reut Tsarfaty, Matan Eyal
개요
ECLeKTic이라는 다국어 폐쇄형 질의응답(CBQA) 데이터셋을 제시합니다. 이 데이터셋은 다국어 대규모 언어 모델(LLM)의 교차 언어 지식 전이 능력을 간단하고 블랙박스 방식으로 평가하기 위해 고안되었습니다. 12개 언어의 위키피디아 기사 유무를 제어하여 언어 간 정보의 불균일한 분포를 감지했습니다. 특정 언어(소스 언어)로 지식 탐색 질문을 생성하고, 해당 질문의 답이 관련 위키피디아 기사에 있는 경우 다른 11개 언어로 번역했습니다. 번역된 언어의 위키피디아에는 해당 기사가 없습니다. 위키피디아가 LLM의 훈련 데이터에 있는 주요 지식을 반영한다고 가정하면, ECLeKTic의 CBQA 작업을 해결하기 위해서는 모델이 언어 간 지식을 전이해야 합니다. 8개의 LLM을 실험한 결과, 최첨단 모델조차도 지식이 습득된 언어와 같은 언어의 질의에 대해서는 답을 잘 예측할 수 있지만, 언어 간 지식을 효과적으로 공유하는 데 어려움을 겪는다는 것을 보여줍니다.
시사점, 한계점
•
시사점: 다국어 LLM의 교차 언어 지식 전이 능력 평가를 위한 새로운 벤치마크인 ECLeKTic 데이터셋을 제공합니다. 최첨단 LLM들이 교차 언어 지식 전이에 어려움을 겪는다는 것을 실험적으로 보여줍니다. 향후 다국어 LLM 개발에 중요한 시사점을 제공합니다.
•
한계점: 위키피디아가 LLM의 훈련 데이터의 지식을 완벽하게 반영한다고 가정하는 점이 한계로 작용할 수 있습니다. 사용된 언어의 수가 제한적이며, 더 다양한 언어와 더 큰 규모의 데이터셋으로 확장할 필요가 있습니다. 블랙박스 방식의 평가는 모델 내부 동작에 대한 이해를 제공하지 못합니다.
