Full-Parameter Continual Pretraining of Gemma2: Insights into Fluency and Domain Knowledge
Created by
Haebom
저자
Vytenis \v{S}liogeris, Povilas Daniu\v{s}is, Arturas Nakvosas
개요
본 논문은 대규모 언어 모델(LLM)의 지속적 학습 환경에서 언어 유창성과 도메인 지식 간의 관계를 실증적으로 조사합니다. Gemma2 LLM의 리투아니아어 유창성을 향상시키기 위해 CulturaX 데이터셋의 리투아니아어 부분 중 처음 10%를 사용하여 전체 매개변수 집합에 대한 자동 회귀적 사전 훈련을 수행합니다. 기존 도메인 지식의 급격한 망각을 방지하기 위해, MMLU 벤치마크 데이터를 사용하여 추정한 피셔 정보를 활용하는 EWC(Elastic Weight Consolidation)를 적용합니다. 훈련 후 평가에서는 퍼플렉서티를 통해 언어 유창성을 평가하고, ARC-Easy, Belebele, GSM8K, HellaSwag, MMLU, TruthfulQA, Winogrande 등의 언어 이해 벤치마크를 사용하여 영어와 리투아니아어 모두에서 도메인 지식을 평가합니다. 실험 결과, EWC는 언어 유창성과 도메인 지식 측면 모두에서 모델의 성능을 유지함으로써 급격한 망각을 완화할 뿐만 아니라, 새로 추가된 리투아니아어에 대한 이러한 기능을 개선하거나 유지합니다. 이러한 결과는 원래 훈련 데이터에 접근하지 않고도 범용 LLM을 저자원 언어에 보다 효율적으로 적용할 수 있는 가능성을 보여줍니다. 관련 코드는 https://github.com/Neurotechnology/LLM_EWC 에서 공개적으로 접근 가능합니다.
