본 논문은 사전 크기가 다른 교사 모델과 학생 모델 간의 어휘 불일치 문제를 해결하기 위한 새로운 방법인 VocAgnoLM을 제안합니다. VocAgnoLM은 어휘 불일치로 인한 차이를 해소하기 위해 토큰 수준의 어휘 정렬(Token-level Lexical Alignment)과 교사 모델의 손실을 활용하는 교사 지도 손실(Teacher Guided Loss)이라는 두 가지 주요 방법을 사용합니다. 실험 결과, 다양한 7B 크기의 교사 모델과 1B 크기의 학생 모델을 사용한 언어 모델링에서 VocAgnoLM의 효과를 입증하였습니다. 특히, TinyLlama와 단 6%의 어휘만 공유하는 Qwen2.5-Math-Instruct를 교사 모델로 사용했을 때, 기존의 지속적 사전 학습 방식에 비해 46%의 성능 향상을 달성했습니다. 또한, VocAgnoLM은 더 강력한 교사 모델일수록 더 나은 성능을 보이며, 언어 모델링에서 어휘 불일치 문제에 대한 강력한 해결책임을 보여줍니다.
