Zero-Shot Cross-Lingual Transfer using Prefix-Based Adaptation
Created by
- Haebom
Category
Empty
저자
Snegha A (Indian Institute of Technology Bombay), Sayambhu Sen (Amazon Alexa), Piyush Singh Pasi (Amazon Alexa), Abhishek Singhania (Amazon Alexa), Preethi Jyothi (Indian Institute of Technology Bombay)
개요
Llama, Mistral과 같은 대규모 언어 모델(LLM)의 등장으로 제로샷(zero-shot) 교차 언어 전이가 가능해졌지만, 이러한 디코더 기반 LLM을 새로운 언어에 적응시키는 것은 여전히 어려운 과제입니다. 본 연구는 Low-Rank Adaptation (LoRA)과 같은 매개변수 효율적 미세 조정(PeFT) 기법 외에, soft prompt tuning, prefix tuning, Llama Adapter와 같은 prefix 기반 기법을 제로샷 교차 언어 전이에 적용하여 연구했습니다. 영어에서 35개 이상의 고·저자원 언어로의 제로샷 교차 언어 전이를 위한 세 가지 prefix 기반 방법을 종합적으로 연구했으며, 언어 계열 및 스크립트 간 전이, 1B에서 24B까지 모델 크기 확장의 영향도 분석했습니다. Llama 3.1 8B를 사용한 결과, prefix 방법은 Belebele 벤치마크에서 LoRA 기반보다 최대 6% 높은 성능을 보였고, Mistral v0.3 7B에서도 유사한 개선이 관찰되었습니다. Prefix tuning을 사용하여 123만 개의 학습 매개변수만 사용했음에도 불구하고, 다양한 벤치마크에서 일관된 개선을 달성했습니다.
시사점, 한계점
•
시사점:
◦
prefix 기반 기법이 LoRA에 대한 효과적이고 확장 가능한 대안이 될 수 있음을 시사함.
◦
특히 저자원 다국어 환경에서 뛰어난 성능을 보임.
◦
Llama 3.1 8B 및 Mistral v0.3 7B 모델에서 LoRA 대비 향상된 성능을 확인.
•
한계점:
◦
논문에 구체적인 한계점 언급은 없음.
