다국어 대규모 언어 모델(LLMs)은 다양한 언어에 걸쳐 견고한 자연어 이해를 목표로 하지만, 저자원 언어에서는 성능이 크게 저하됩니다. 본 연구는 저자원 언어의 교차 언어 작업 성능을 향상시키기 위해 기존의 언어 특정 뉴런 식별 기술을 활용할 수 있는지 여부를 탐구합니다. Llama 3.1 및 Mistral Nemo와 같은 모델을 사용하여 언어 활성화 확률 엔트로피 및 활성화 확률 기반 임계값 설정과 같은 기존의 언어 특정 뉴런 식별 기술과 뉴런 특정 LoRA 미세 조정을 포함하는 자세한 실험을 수행했습니다. 그 결과, 저자원 언어에서 하위 작업(XNLI, XQuAD)에 대한 교차 언어 성능 향상을 얻기에는 이러한 뉴런 특정 개입이 불충분하다는 것을 발견했습니다. 이 연구는 교차 언어 일반화를 달성하는 데 어려움을 강조하고 다국어 LLMs에 대한 중요한 통찰력을 제공합니다.
