본 논문은 서로 다른 크기의 대규모 언어 모델(LLM) 간의 매개변수를 통한 지식 전이(Parametric Knowledge Transfer, PKT)에 대한 연구를 다룬다. 기존의 상징적 언어에 기반한 지식 전이 방식을 넘어, LLM의 매개변수를 직접 활용하여 지식을 전이하는 방법을 탐구한다. 특히, 매개변수 공간의 정렬(Alignment)이 성공적인 크기 간 PKT의 기본 전제 조건임을 보여주고, 기존의 Post-Align PKT(PostPKT) 방식의 한계를 지적한다. 비용 효율적인 사전 정렬 PKT(PrePKT) 패러다임을 제시하고, LaTen(Locate-Then-Align)이라는 새로운 솔루션을 제안한다. LaTen은 추가적인 학습 없이 몇몇 학습 단계만으로 LLM의 매개변수 공간을 정렬한다. 실험 결과, PostPKT와 PrePKT 모두 일관된 안정적인 전이를 달성하는 데 어려움을 겪는다는 것을 보여주며, 서로 다른 크기의 LLM 간의 신경적 비호환성(Neural Incompatibility)을 효과적인 PKT 달성에 대한 근본적인 어려움으로 확인한다.
