PATCH: Learnable Tile-level Hybrid Sparsity for LLMs

Thu, 30 Apr 2026 07:37:04 GMT

### 저자

Younes Hourri, Mohammad Mozaffari, Maryam Mehri Dehnavi

### 💡 개요

본 논문은 대규모 언어 모델(LLM)의 배포 비용을 절감하기 위해 기존 모델 압축 방법론의 한계를 극복하는 새로운 하이브리드 희소성 프레임워크인 PATCH를 제안합니다. PATCH는 가중치 행렬을 타일 단위로 분할하고, 학습 가능한 마스크 선택 메커니즘을 통해 각 타일을 밀집(dense) 또는 2:4 희소(sparse)로 지정하여 0%에서 50% 사이의 연속적인 희소 비율을 지원합니다. 이를 통해 정확도와 가속도 간의 미세한 제어가 가능하며, 레이어별로 비균일한 희소성을 적용하여 모델 품질을 향상시킵니다.

### 🔑 시사점 및 한계

- **연속적인 희소 비율 지원:** 기존의 비정형 희소성과 고정된 2:4 희소성의 장단점을 절충하여, 0%에서 50% 사이의 희소 비율을 유연하게 조절함으로써 정확도와 속도 간의 최적 균형점을 찾을 수 있습니다.

- **하이브리드 및 비균일 희소성:** 타일 단위의 밀집/희소 선택을 통해 모델 전체에 걸쳐 비균일한 희소성을 적용할 수 있어, 더 높은 모델 품질을 유지하면서도 효율적인 가속을 달성할 수 있습니다.

- **LLM 압축의 실질적 개선:** 다양한 크기의 LLM에서 PATCH는 기존 최신 2:4 희소성 방법론(MaskLLM) 대비 정확도를 향상시키면서도 실질적인 엔드-투-엔드 속도 향상을 입증하였습니다.

- **타일 크기 및 학습 메커니즘의 영향:** 최적의 타일 크기 결정 및 마스크 선택 학습 메커니즘의 일반화 성능에 대한 추가 연구가 필요할 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2509.23410)