본 논문은 제한된 컴퓨팅 자원, 특히 CPU 기반의 표준 노트북만을 사용하는 사용자를 위해 설계된, 이론적 근거를 갖춘 LoRA 미세 조정 방법을 제안합니다. 기존의 GPU 기반 LoRA 미세 조정의 한계를 극복하기 위해, 미리 학습된 다수의 Mistral-7B-Instruct-v0.2 모델용 어댑터를 활용하여 입력 데이터셋(확률 분포로 표현)을 LoRA 가중치 집합으로 매핑하는 메타 연산자를 학습하는 방식을 제시합니다. 새로운 기울기 기반 업데이트 대신, CPU에서 기존 LoRAs의 가벼운 조합을 통해 어댑터를 생성합니다. GPU 기반으로 학습된 어댑터만큼의 성능은 아니지만, 기본 Mistral 모델보다 하위 작업에서 일관되게 성능이 우수하여, 기존 GPU 기반 미세 조정의 실용적이고 접근 가능한 대안을 제공합니다.
