# Structural Sensitivity in Compressed Transformers: Relative Error Propagation and Layer Removal

### 저자

Abhinaba Basu, Kumkum Basu, Koushik Deb

### 💡 개요

본 연구는 트랜스포머 모델의 압축 시 발생하는 오류의 누적 및 전파 메커니즘을 규명합니다. 각 레이어의 압축 오류가 다음 레이어로 어떻게 전달되고 증폭되는지를 'rho' 값으로 측정하고, 이를 통해 모델의 표현력 저하를 예측합니다. 또한, 레이어 내부 및 레이어 간 압축의 민감도를 분석하여 효율적인 압축 전략을 제안합니다.

### 🔑 시사점 및 한계

- **오류 누적 및 전파 이해:** 레이어별 오류 비율(rho)을 통해 압축 오류가 모델 전반에 미치는 영향을 정량적으로 분석할 수 있으며, 이는 초기 레이어 압축이 더 큰 성능 저하를 유발하는 이유를 설명합니다.

- **효과적인 압축 전략:** 레이어 내부의 중요도 계산 및 레이어 제거 시 'rho' 값을 활용하는 것이 기존 방법론보다 우수한 성능을 보이며, 특히 여러 기준을 혼합했을 때 최적의 결과를 얻을 수 있음을 보여줍니다.

- **한계점:** 모델의 너비와 내부 중복성이 'rho' 값 자체만큼 압축 성능에 큰 영향을 미친다는 점을 언급하며, 이러한 요소들을 통합적으로 고려하는 추가 연구의 필요성을 시사합니다.

[PDF 보기](https://arxiv.org/pdf/2603.20991)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).