Linguistic Neuron Overlap Patterns to Facilitate Cross-lingual Transfer on Low-resource Languages
Created by
Haebom
저자
Yuemei Xu, Kexin Xu, Jian Zhou, Ling Hu, Lin Gui
개요
본 논문은 저자원 언어에 대한 대규모 언어 모델(LLM)의 성능 향상을 위한 데이터 효율적인 방법을 제시합니다. 비용이 많이 드는 미세 조정 없이 저자원 언어의 제로샷 교차 언어 맥락 학습(X-ICL)을 개선하기 위해, 언어-브리지 관점에서 BridgeX-ICL이라는 간단하면서도 효과적인 방법을 제안합니다. 기존 연구들이 언어 특정 뉴런에 초점을 맞춘 것과 달리, BridgeX-ICL은 뉴런 공유가 LLM의 교차 언어 성능을 향상시킬 수 있는지 여부를 탐구합니다. MUSE 이중 언어 사전의 정답 데이터를 사용하여 뉴런 프로브 데이터를 구성하고, 이러한 고정된 뉴런의 완전한 활성화를 보장하기 위해 언어 중복 뉴런의 하위 집합을 정의합니다. 이후, 중복되는 뉴런을 기반으로 LLM의 내부 언어 스펙트럼을 정량화하기 위한 HSIC 기반 메트릭을 제안하여 최적의 브리지 선택을 안내합니다. 7개의 다양한 언어 계열에서 4가지 교차 언어 작업과 15개의 언어 쌍(고-저 자원 언어 쌍과 중간-저 자원 언어 쌍 포함)에 대한 실험을 통해 BridgeX-ICL의 효과를 검증하고 LLM의 기저 다국어 메커니즘에 대한 경험적 통찰력을 제공합니다. 코드는 https://github.com/xuyuemei/BridgeX-ICL 에서 공개적으로 이용 가능합니다.
