본 논문은 양자화, 가지치기, 형식 및 데이터 유형 변환, 모델 내보내기, 직렬화 등 모델 가중치를 저하시키는 모든 요인으로 인한 성능 저하를 회복하는 데 초점을 맞춘다. 특히, 부적절한 모델 직렬화와 같은 요인에 의해 저하된 모델의 정확도를 회복하는 것을 목표로 한다. 이를 위해, 저자들은 경량화된 데이터셋 독립적인 방법인 Recover-LoRA를 제안한다. Recover-LoRA는 합성 데이터와 로짓 증류를 사용하여 선택적 레이어에 LoRA 어댑터를 학습시켜, 저하된 모델을 전체 정밀도 모델에 정렬한다. MHA 및 GQA 아키텍처를 포함한 다양한 소규모 언어 모델 (SLM)과 여러 평가 데이터셋에서 Recover-LoRA의 유용성을 조사한다.
