LLM-NEO: Parameter Efficient Knowledge Distillation for Large Language Models

Wed, 26 Feb 2025 05:53:12 GMT

### 저자

Runming Yang, Taiqiang Wu, Jiahao Wang, Pengfei Hu, Yik-Chung Wu, Ngai Wong, Yujiu Yang

### 개요

본 논문은 지식 증류(KD)와 저랭크 적응(LoRA)이 동일한 패러다임을 따른다는 점을 밝히고, 이를 바탕으로 매개변수 효율적인 지식 증류 방법인 LLM-NEO를 제안합니다. LLM-NEO는 LoRA를 KD에 통합하여 지식 전달의 효율성을 향상시키며, 하이퍼파라미터에 대한 유용한 지침을 제시합니다. Llama 2와 Llama 3.2를 압축하는 실험 결과, LLM-NEO가 다양한 기준 모델보다 우수한 성능을 보임을 확인하였고, LoRA 변형에 대한 강건성도 입증되었습니다. 코드와 훈련된 모델은 Github에서 공개됩니다.

### 시사점, 한계점

- **시사점:**

- LoRA를 KD에 통합하여 매개변수 효율적인 지식 증류 방법인 LLM-NEO를 제시함으로써, 대규모 언어 모델 압축의 효율성을 향상시켰습니다.

- LLM-NEO의 하이퍼파라미터에 대한 유용한 지침을 제공하여 실제 적용 가능성을 높였습니다.

- Llama 2와 Llama 3.2에 대한 실험 결과를 통해 LLM-NEO의 우수성과 LoRA 변형에 대한 강건성을 입증했습니다.

- 공개된 코드와 훈련된 모델을 통해 재현성을 높였습니다.

- **한계점:**

- 본 논문에서 제시된 LLM-NEO의 성능 향상이 모든 종류의 LLM과 KD, LoRA 변형에 대해 일반화될 수 있는지에 대한 추가적인 연구가 필요합니다.

- LLM-NEO의 하이퍼파라미터 최적화에 대한 더욱 심도있는 분석이 필요할 수 있습니다.

- 다양한 크기와 아키텍처의 LLM에 대한 실험 결과가 제한적일 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2411.06839)