본 논문은 대규모 기초 모델의 도메인 특화 또는 개인화된 작업을 위한 미세 조정이 높은 메모리 오버헤드로 인해 대부분의 사용자에게는 여전히 비용이 많이 든다는 문제를 해결하기 위해, 추론에 필요한 메모리 예산 내에서 모델 미세 조정을 가능하게 하는 EMLoC(Emulator-based Memory-efficient fine-tuning framework with LoRA Correction) 프레임워크를 제안합니다. EMLoC은 작은 다운스트림 보정 세트에 대한 활성화 인식 특이값 분해(SVD)를 사용하여 작업별 경량 에뮬레이터를 구성하고, LoRA를 통해 이 경량 에뮬레이터에서 미세 조정을 수행합니다. 원래 모델과 압축된 에뮬레이터 간의 불일치 문제를 해결하기 위해 미세 조정된 LoRA 모듈을 보정하는 새로운 보정 알고리즘을 제안하며, 이를 통해 추론을 위해 원래 모델에 병합할 수 있습니다. EMLoC은 유연한 압축 비율과 표준 교육 파이프라인을 지원하여 광범위한 애플리케이션에 적용할 수 있습니다. 광범위한 실험을 통해 EMLoC이 여러 데이터 세트와 모드에서 다른 기준보다 우수한 성능을 보임을 보여줍니다. 또한, 양자화 없이도 24GB 소비자 GPU 하나로 38B 모델의 미세 조정을 가능하게 하여 개별 사용자에게 효율적이고 실용적인 모델 적응을 제공합니다.
