Fragile Knowledge, Robust Instruction-Following: The Width Pruning Dichotomy in Llama-3.2

Thu, 07 May 2026 08:25:56 GMT

### 저자

Pere Martra

### 💡 개요

본 연구는 Llama-3.2 모델의 GLU-MLP 레이어에 대해 최대 절대값 가중치(MAW) 기준을 활용한 구조적 너비 가지치기(width pruning)를 수행하여, 모델의 능력치가 어떻게 변화하는지 체계적으로 분석했습니다. 흥미롭게도, 파라메트릭 지식(MMLU, GSM8K)과 관련 성능은 감소했지만, 지시 따르기(instruction-following) 능력은 크게 향상되었으며 다단계 추론 능력은 안정적으로 유지되었습니다. 이는 가지치기가 모델 능력치에 균일한 저하를 가져온다는 기존의 통념에 도전하는 결과입니다.

### 🔑 시사점 및 한계

- **지식 습득과 지시 수행 능력 간의 상반된 변화:** 너비 가지치기가 모델의 사실적 지식 습득 능력은 저하시키면서도, 사용자의 지시를 따르는 능력은 오히려 향상시킨다는 현상을 최초로 체계적으로 규명했습니다.

- **인지 능력 조절의 새로운 가능성:** 모델의 확장 비율(expansion ratio)이 단순한 압축 지표를 넘어, 모델의 다양한 인지 능력을 선택적으로 조절할 수 있는 중요한 아키텍처 파라미터임을 밝혔습니다.

- **사실적 지식과 진실성 간의 역상관 관계:** 모델의 사실적 지식 용량과 진실성(truthfulness) 측정치 간에 유의미한 역상관 관계가 존재함을 발견하여, 지식 감소가 잘못된 정보를 걸러내는 능력을 향상시킬 수 있음을 시사했습니다.

- **효율성 및 지연 시간 간의 절충점:** 가지치기된 모델은 에너지 소비를 줄일 수 있지만, 단일 요청 시 지연 시간이 증가할 수 있으며, 배치 처리 환경에서는 전반적인 효율성 향상을 기대할 수 있습니다.

- **한계점:** 본 연구는 Llama-3.2 모델에 대한 분석이며, 다른 모델 아키텍처나 가지치기 방법론에 대한 일반화는 추가적인 연구가 필요합니다. 또한, '선택적 보존' 현상의 근본적인 메커니즘에 대한 심층적인 이해를 위한 후속 연구가 필요합니다.

[PDF 보기](https://arxiv.org/pdf/2512.22671)