Leave it to the Specialist: Repair Sparse LLMs with Sparse Fine-Tuning via Sparsity Evolution

Created by

Haebom

저자

Qiao Xiao, Alan Ansell, Boqian Wu, Lu Yin, Mykola Pechenizkiy, Shiwei Liu, Decebal Constantin Mocanu

💡 개요

대규모 언어 모델(LLM)은 높은 계산 요구량으로 인해 배포에 어려움을 겪습니다. 기존의 사후 학습 가지치기 방법은 높은 희소도에서 성능 저하 문제를 겪지만, 제안된 Sparsity Evolution Fine-Tuning (SEFT)은 희소도 유지 및 가중치 드롭-앤-그로 전략을 통해 희소 LLM의 토폴로지를 동적으로 진화시켜 성능 저하를 완화합니다.

🔑 시사점 및 한계

•

SEFT는 희소 LLM에 특화된 파인튜닝 방법을 제공하여, 기존 가지치기 방법의 성능 한계를 극복하고 실제 배포 가능한 희소 LLM 구축에 기여합니다.

•

가중치 드롭-앤-그로 전략과 민감도 기반 가지치기 기준을 통해 모델이 데이터셋에 적응하며 희소성을 유지하도록 하여, 효율성과 성능을 동시에 개선합니다.

•

제안된 SEFT는 다양한 LLM 및 벤치마크에서 우수한 성능과 효율성을 입증했지만, 특정 모델 아키텍처나 복잡한 다운스트림 작업에 대한 추가적인 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage