본 논문은 효율적인 사전 학습 방법인 저랭크 복제(Low-Rank Clone, LRC)를 제시합니다. LRC는 강력한 교사 모델과의 행동적 등가성을 추구하는 소형 언어 모델(SLM)을 구축합니다. 기존 방법의 정보 손실, 비효율적인 표현 정렬, 피드포워드 네트워크(FFN) 활성화의 저활용 문제를 해결하기 위해, 저랭크 투영 행렬 집합을 훈련하여 교사 가중치 압축(소프트 가지치기)과 교사의 활성화(FFN 신호 포함)와 학생 활성화의 정렬(활성화 복제)을 동시에 수행합니다. Llama-3.2-3B-Instruct, Qwen2.5-3B/7B-Instruct 등 오픈소스 교사 모델을 사용한 실험 결과, LRC는 수조 토큰으로 훈련된 최첨단 모델과 동등하거나 우수한 성능을 200억 토큰으로 달성하여 1,000배 이상의 훈련 효율성을 보였습니다.
