본 논문은 여러 모델을 활용하는 애플리케이션에서 발생하는 중복성과 응답 시간 증가 문제를 해결하기 위해, 미세 조정된 오픈소스 모델을 개별적으로 저장하는 대신 델타 매개변수 가지치기(DPP) 기법을 개선하는 연구를 제시합니다. 특히 Yu et al.이 제안한 DARE(random drop and rescale) 방법의 한계를 극복하기 위해, 높은 가지치기 비율에서도 성능 저하를 최소화하는 DAREx를 제안합니다. DAREx는 (1) 높은 가지치기 비율에서 성능을 크게 향상시키는 재조정 계수 수정 기법인 DAREx-q와 (2) DPP 전에 적절한 델타 정규화를 적용하는 AdamR을 DARE와 결합한 DAREx-L2를 포함합니다. 또한 DAREx-q는 LoRA와 같은 기존 매개변수 효율적인 미세 조정 기법과 원활하게 결합될 수 있으며, 구조적 DPP를 용이하게 합니다. 마지막으로, 델타 매개변수가 클 때 중요도 기반 가지치기 기법이 무작위 기반 방법보다 성능이 우수함을 보여줍니다. 이를 통해 다양한 실제 시나리오에서 가장 적합한 DPP 방법을 선택하기 위한 파이프라인을 개발합니다.
