EdgeRazor: A Lightweight Framework for Large Language Models via Mixed-Precision Quantization-Aware Distillation

작성자

Haebom

카테고리

Empty

저자

Shu-Hao Zhang, Le-Tong Huang, Xiang-Sheng Deng, Xin-Yi Zou, Chen Wu, Nan Li, Shao-Qun Zhang, Zhi-Hua Zhou

💡 개요

본 논문은 리소스가 제한된 환경에서 대규모 언어 모델(LLM)을 효율적으로 배포하기 위한 경량 프레임워크인 EdgeRazor를 제안합니다. EdgeRazor는 혼합 정밀도 양자화 인식 증류 기법을 사용하여 LLM의 성능 저하 없이 압축률을 높이는 것을 목표로 합니다. 실험 결과, EdgeRazor는 기존 최첨단 2비트 및 3비트 모델보다 우수한 성능을 보이면서도, 학습 비용을 크게 절감하고 저장 공간을 줄이며 디코딩 속도를 향상시키는 효과를 입증했습니다.

🔑 시사점 및 한계

•

극대화된 효율성: EdgeRazor는 기존의 양자화 방식이 4비트 이하에서 겪는 성능 저하 문제를 극복하고, 다양한 비트 수준에서 높은 압축률과 빠른 추론 속도를 달성합니다.

•

효과적인 증류 기법: 구조적 혼합 정밀도 양자화, 계층 적응 특징 증류, 엔트로피 인식 KL 발산을 통해 양자화된 모델의 성능을 효과적으로 보존하고 학습 효율을 높입니다.

•

제한적인 하드웨어 적용: 제안된 프레임워크는 특정 하드웨어 환경에서의 성능 검증에 초점을 맞추고 있어, 더 넓은 범위의 엣지 디바이스에 대한 일반화 및 최적화 연구가 필요합니다.

PDF 보기

Made with Slashpage