ECLeKTic: a Novel Challenge Set for Evaluation of Cross-Lingual Knowledge Transfer
Created by
Haebom
Category
Empty
저자
Omer Goldman, Uri Shaham, Dan Malkin, Sivan Eiger, Avinatan Hassidim, Yossi Matias, Joshua Maynez, Adi Mayrav Gilady, Jason Riesa, Shruti Rijhwani, Laura Rimell, Idan Szpektor, Reut Tsarfaty, Matan Eyal
개요
본 논문은 대규모 언어 모델(LLM)이 다양한 언어 간 지식 전송 능력을 평가하기 위한 새로운 벤치마크 데이터셋인 ECLeKTic을 제시합니다. ECLeKTic은 12개 언어의 위키피디아 기사 유무를 활용하여 사전 훈련 과정에서 특정 언어에서는 학습되었지만 다른 언어에서는 학습되지 않았을 가능성이 높은 정보를 탐지합니다. 이 정보를 기반으로 여러 언어로 질문을 생성하여, 모델이 언어 간 지식을 전송해야만 답을 할 수 있도록 설계되었습니다. 8개의 LLM을 평가한 결과, 최첨단 모델조차도 언어 간 지식 공유에 어려움을 겪는다는 것을 확인했습니다.
시사점, 한계점
•
시사점:
◦
LLM의 언어 간 지식 전송 능력을 측정할 수 있는 새로운 벤치마크 데이터셋 ECLeKTic을 제시했습니다.
◦
현존하는 LLM들이 언어 간 지식 공유에 취약하다는 것을 입증했습니다.
◦
LLM의 다국어 성능 향상을 위한 새로운 연구 방향을 제시했습니다.
•
한계점:
◦
12개 언어로 제한된 점이 있으며, 더 다양한 언어에 대한 평가가 필요합니다.
◦
위키피디아 정보를 기반으로 하기 때문에, 다른 출처의 지식에 대한 일반화 가능성을 추가적으로 검증해야 합니다.
◦
단순한 블랙 박스 방식으로 평가하기 때문에, 모델의 내부 메커니즘을 파악하는 데 한계가 있습니다.
