# The Master Key Hypothesis: Unlocking Cross-Model Capability Transfer via Linear Subspace Alignment

### 저자

Rishab Balasubramanian, Pin-Jie Lin, Rituraj Sharma, Anjie Fang, Fardin Abdi, Viktor Rozgic, Zheng Du, Mohit Bansal, Tu Vu

### 💡 개요

본 연구는 모델 재학습 없이도 기존에 학습된 능력을 다른 모델, 특히 다른 규모의 모델로 전이할 수 있는지 탐구합니다. '마스터 키 가설'을 제안하며, 모델의 능력은 특정 행동을 유도하는 저차원 잠재 공간의 방향에 해당하며, 이는 선형 정렬을 통해 모델 간 전이가 가능하다고 주장합니다. 이 가설에 기반하여, UNLOCK 프레임워크는 능력 발현 및 미발현 소스 모델의 활성화값 대비를 통해 능력 방향을 추출하고, 저계수 선형 변환으로 타겟 모델과 정렬하여 추론 시 해당 능력을 발현시킵니다.

### 🔑 시사점 및 한계

- **모델 간 능력 전이 가능성 제시:** 별도의 재학습 없이도 특정 능력(예: Chain-of-Thought, 수학적 추론)을 다른 규모의 모델로 효과적으로 전이할 수 있음을 입증했습니다.

- **효율적인 능력 추출 및 이전 방법론:** UNLOCK 프레임워크는 훈련 데이터나 레이블 없이 능력 방향을 추출하고 선형 정렬을 통해 이전함으로써, 기존 방법 대비 효율성을 높였습니다.

- **사전 학습 능력의 중요성 및 행동 증폭 메커니즘:** 능력 전이의 성공이 모델의 사전 학습 능력에 크게 의존하며, 제안된 방법이 잠재된 능력을 증폭시켜 성공적인 추론 경로로 이끄는 효과가 있음을 분석했습니다.

- **한계점:** 전이 성공률이 사전 학습 시 학습된 능력의 종류와 강도에 따라 달라지므로, 모든 능력에 대해 보편적으로 높은 전이율을 보장하기는 어려울 수 있습니다. 또한, 복잡하거나 추상적인 능력에 대한 전이 가능성과 성능에 대한 추가 연구가 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2604.06377)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).