본 논문은 지시어 미세조정(Instruction Tuning)된 대규모 언어 모델(LLM)을 효율적으로 미세조정하는 새로운 방법인 Shadow-FT 프레임워크를 제안합니다. 기존의 지시어 미세조정 모델을 직접 미세조정하는 방식은 성능 향상이 미미하거나 오히려 성능 저하를 초래하는 경우가 많다는 점에 착안하여, 지시어 미세조정 모델의 기반 모델(BASE 모델)을 미세조정하고, 학습된 가중치 업데이트를 지시어 미세조정 모델에 직접 적용하는 방식을 제시합니다. Shadow-FT는 추가적인 매개변수 없이 구현이 간편하며, Qwen 3 및 Llama 3 시리즈와 같은 주요 LLM에 대한 광범위한 실험 결과 기존의 전체 매개변수 미세조정 및 매개변수 효율적인 미세조정 방법보다 우수한 성능을 보이는 것으로 나타났습니다. 코딩, 추론, 수학적 작업을 포함한 19개의 벤치마크에서 평가되었으며, 다중 모달 LLM에도 적용 가능하고 직접적 선호도 최적화(DPO)와 결합할 수 있습니다.
