본 논문은 대규모 언어 모델(LLM)의 배포에 어려움을 주는 높은 계산 비용 문제를 해결하기 위해, 희소 LLM을 위한 새로운 미세 조정 방법인 Sparsity Evolution Fine-Tuning (SEFT)을 제안합니다. 기존의 희소화 기법들은 높은 희소성 수준에서 성능 저하 문제를 겪는 반면, SEFT는 미세 조정 과정에서 희소 토폴로지를 동적으로 진화시켜 희소성을 유지하면서 성능을 향상시킵니다. 이는 가중치 삭제 및 성장 전략을 통해 특정 작업에 맞게 모델을 적응시키고, 민감도 기반 가지치기 기준을 사용하여 원하는 희소성 수준을 유지하는 방식으로 이루어집니다. LLaMA 계열, DeepSeek, Mistral 등 다양한 LLM과 벤치마크를 통해 SEFT의 우수한 성능과 효율성을 실험적으로 검증하였으며, 코드는 공개적으로 제공합니다.
