본 논문은 유사한 데이터로 훈련된 유사한 구조의 신경망이 학습 과제와 관련된 공유 표현을 학습한다는 가설을 바탕으로 연구를 진행합니다. 모델 크기에 상관없이 일관된 기저 특징들의 선형 결합으로 표현될 수 있는 보편적인 기저 특징 집합이 존재한다는 개념적 틀을 확장합니다. 이 틀에서, 저자들은 서로 다른 모델들의 표현 공간 사이에 아핀 변환이 존재한다는 선형 표현 전이성(LRT) 가설을 제시합니다. 다양한 크기의 모델들의 은닉 상태 간의 아핀 매핑을 학습하고, 특정 모델 행동과 관련된 은닉 상태 공간의 방향인 조종 벡터(steering vectors)가 학습된 매핑을 사용하여 작은 언어 모델에서 큰 언어 모델로 전달될 때 의미적 효과를 유지하는지 평가합니다. 실험 결과, 이러한 아핀 매핑이 조종 행동을 보존할 수 있다는 강력한 경험적 증거를 발견했습니다. 이러한 결과는 작은 모델이 학습한 표현을 사용하여 큰 모델의 행동을 안내할 수 있으며, LRT 가설이 모델 규모에 걸친 표현 정렬을 이해하는 유망한 방향이 될 수 있음을 시사합니다.
