본 논문은 지시어 학습(Instruction Tuning)된 대규모 언어 모델(LLM)의 미세 조정 시 성능 향상이 미미하거나 오히려 저하되는 현상을 관찰하고, 이를 해결하기 위해 Shadow-FT 프레임워크를 제안합니다. Shadow-FT는 지시어 학습 모델(INSTRUCT)의 기반 모델(BASE)을 미세 조정한 후, 학습된 가중치 업데이트를 INSTRUCT 모델에 직접 적용하는 방식입니다. 추가 매개변수 없이 구현이 간편하며, Qwen 3 및 Llama 3 계열과 같은 주요 LLM을 대상으로 한 실험에서 기존의 전 매개변수 및 매개변수 효율적인 미세 조정 방법보다 우수한 성능을 보였습니다. 코딩, 추론, 수학적 과제를 포함한 19개의 벤치마크에서 평가되었으며, 다중 모달 LLM에도 적용 가능하고 직접적 선호도 최적화(DPO)와 결합할 수 있음을 보여줍니다.
