Train Small, Infer Large: Memory-Efficient LoRA Training for Large Language Models
Created by
Haebom
Category
Empty
저자
Jun Zhang, Jue Wang, Huan Li, Lidan Shou, Ke Chen, Yang You, Guiming Xie, Xuejian Gong, Kunlong Zhou
개요
본 논문은 과도하게 매개변수화된 대규모 언어 모델(LLM)의 효율적인 미세 조정을 위한 새로운 방법인 LoRAM을 제안합니다. LoRA는 기존 모델 매개변수를 고정하고 경량의 저랭크 어댑터 행렬만 훈련하는 비용 효율적인 방법이지만, 메모리 사용량이 여전히 높다는 한계가 있습니다. LoRAM은 훈련 유틸리티가 낮지만 추론에는 필수적인 뉴런이 많다는 점에 착안하여, 가지치기된 작은 모델에서 훈련하여 얻은 가지치기된 저랭크 행렬을 원래 큰 모델에 적용하는 방식으로 메모리 효율성을 높입니다. 또한, 모델 공개자가 미리 수행하는 최소 비용의 지속적 사전 훈련을 통해 가지치기된 모델과 원래 모델 간의 지식 차이를 줄입니다. 다양한 가지치기 전략과 하류 작업에 대한 광범위한 실험을 통해 LoRAM의 효과를 입증하며, 700억 매개변수 모델의 경우 20GB HBM GPU로 훈련이 가능함을 보여줍니다. 특히, 구조적 가지치기와 4비트 양자화를 결합한 QLoRAM은 LLaMA-3.1-70B(LLaMA-2-70B)의 저랭크 행렬 훈련에서 메모리 사용량을 15.81배(16.95배) 줄이면서 성능 향상을 달성합니다.
