QSLM: A Performance- and Memory-aware Quantization Framework with Tiered Search Strategy for Spike-driven Language Models

Wed, 22 Apr 2026 08:16:30 GMT

### 저자

Rachmad Vidya Wicaksana Putra, Pasindu Wickramasinghe, Muhammad Shafique

### 💡 개요

본 논문은 임베디드 환경에 적합하도록 기존 스파이크 기반 언어 모델(SLM)의 메모리 사용량을 효과적으로 줄이는 QSLM 프레임워크를 제안합니다. QSLM은 신경망 계층의 민감도를 파악하고 계층적 탐색 전략을 사용하여 성능과 메모리 제약 조건을 동시에 만족하는 최적의 양자화 설정을 자동으로 탐색합니다. 이를 통해 기존 모델 대비 메모리 사용량을 최대 86.5% 감소시키면서도 성능 손실을 최소화하는 성과를 달성했습니다.

### 🔑 시사점 및 한계

- **임베디드 LLM 배포 가능성 확대:** QSLM은 SLM의 메모리 문제를 해결하여 저사양/자원 제약적인 임베디드 장치에서의 LLM 활용 가능성을 크게 넓힙니다.

- **자동화된 효율적인 양자화:** 수동 양자화의 비효율성을 극복하고, 다양한 모델, 성능 요구 사항, 메모리 예산에 맞춰 자동화된 계층적 탐색을 통해 최적의 양자화 설정을 제공합니다.

- **성능-메모리 트레이드오프 관리:** 다목적 트레이드오프 함수를 활용하여 성능 저하를 최소화하면서 메모리 압축 효과를 극대화하는 균형점을 효과적으로 찾습니다.

- **한계점:** 다양한 SLM 아키텍처 및 작업에 대한 일반화 성능 검증과 탐색 알고리즘의 계산 복잡성 감소 연구가 필요할 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2601.00679)