대규모 언어 모델(LLM)은 추가적인 미세 조정으로 지속적으로 성능 향상을 보이지만, Instruct 모델을 직접 조정하는 것은 성능 개선이 미미하거나 오히려 저하될 수 있음을 관찰했습니다. Instruct 모델의 기반이 되는 Base 모델은 가중치 값이 매우 유사하며, Base 모델은 훌륭한 학습자이지만 후속 훈련 없이는 약한 백본 역할을 합니다. 따라서, 본 연구는 대응하는 Base 모델을 활용하여 Instruct 모델을 조정하는 Shadow-FT 프레임워크를 제안합니다. 핵심 아이디어는 Base 모델을 미세 조정하고, 학습된 가중치 업데이트를 Instruct 모델에 직접 적용하는 것입니다. Shadow-FT는 추가적인 파라미터를 도입하지 않으며, 구현이 용이하고 성능을 크게 향상시킵니다. Qwen 3 및 Llama 3 시리즈와 같은 주요 LLM에 대한 광범위한 실험을 수행하고, 코딩, 추론 및 수학적 작업 등 19개의 벤치마크에서 평가했습니다. 실험 결과는 Shadow-FT가 기존의 full-parameter 및 parameter-efficient tuning 방식을 일관되게 능가함을 보여줍니다. 또한, Shadow-FT는 멀티모달 LLM(MLLM)에 적용될 수 있으며, 직접 선호도 최적화(DPO)와 결합될 수 있습니다.
