유사한 데이터로 훈련된 유사한 구조의 신경망은 학습 과제와 관련된 공유 표현을 학습한다는 가설에 기반하여, 동일한 데이터로 훈련된 여러 모델에서 학습된 표현을 보편적인 기저 특징들의 선형 결합으로 표현할 수 있는 개념적 프레임워크를 확장했습니다. 이 기저 특징들은 학습 과제 자체를 기반으로 하며, 모델의 크기에 관계없이 일관성을 유지합니다. 이 프레임워크에서, 저자들은 서로 다른 모델의 표현 공간 사이에 아핀 변환이 존재한다는 선형 표현 전달 가능성(LRT) 가설을 제안합니다. 이 가설을 검증하기 위해, 저자들은 서로 다른 크기의 모델의 은닉 상태 간의 아핀 매핑을 학습하고, 특정 모델 동작과 관련된 은닉 상태 공간의 방향인 조향 벡터가 학습된 매핑을 사용하여 작은 언어 모델에서 큰 언어 모델로 전달될 때 그 의미적 효과를 유지하는지 평가합니다. 실험 결과, 이러한 아핀 매핑이 조향 동작을 보존할 수 있다는 강력한 경험적 증거를 발견했습니다. 이러한 결과는 작은 모델이 학습한 표현을 사용하여 큰 모델의 동작을 안내할 수 있으며, LRT 가설이 모델 규모에 걸친 표현 정렬을 이해하는 데 유망한 방향일 수 있음을 시사합니다.
