この論文では、既存の大規模言語モデル（LLM）を新しい言語に適用するための一般的な方法である継続的辞書トレーニング（CPT）における英語データの役割を調査します。研究の結果、英語データを含めることは検証の多様性には影響しませんが、ターゲット言語の後続の作業能力の向上に重要な役割を果たすことを明らかにしました。英語のデータが含まれていない場合、文脈内学習（ICL）で致命的な忘却が発生し、これはターゲット言語の後続のプロンプトの一般化能力の低下につながります。これらの問題を解決するために、カリキュラム学習と重みの指数移動平均（EMA）を効果的な選択肢として提示します。結論として、この論文は、言語適応のためのCPTで新たに登場する能力のダイナミクスを明らかにし、将来のより効果的な方法を設計するための基礎を築きます。
