LiveCLKTBench: 실시간 지식 벤치마크를 통한 대규모 언어 모델의 상호 언어 지식 이전 평가
개요
본 논문은 대규모 언어 모델(LLM)의 상호 언어 지식 이전(cross-lingual knowledge transfer)을 평가하는 어려움을 해결하기 위해 LiveCLKTBench를 제시합니다. LiveCLKTBench는 자체적으로 포함된 시의성 있는 지식 엔티티를 식별하고, 시간적 발생을 기반으로 필터링하며, 모델의 지식에 대한 검증을 수행합니다. 유효한 엔티티의 문서를 사용하여 팩트 질문을 생성하고, 이를 여러 언어로 번역하여 언어 경계를 넘어 이전 능력을 평가합니다.
시사점, 한계점
•
LiveCLKTBench를 사용하여 다양한 LLM을 5개 언어로 평가한 결과, 상호 언어 지식 이전은 언어적 거리에 의해 크게 영향을 받으며, 언어 방향에 따라 비대칭적일 수 있음을 확인했습니다.
•
더 큰 모델이 이전 능력을 향상시키지만, 그 효과는 규모가 커질수록 감소하며 도메인에 따라 다릅니다.
•
LiveCLKTBench는 미래 연구를 위한 신뢰할 수 있는 벤치마크로서의 가치를 입증했습니다.
•
본 연구는 상호 언어 지식 이전의 복잡성을 파악하기 위해 제한된 수의 언어와 모델을 사용했습니다.
