본 논문은 파인튜닝된 모델의 성능 저하 및 중복성 문제를 해결하기 위해, 작업 벡터 메커니즘을 활용한 새로운 가지치기 방법인 NPS-Pruning을 제안합니다. NPS-Pruning은 파인튜닝된 모델과 원래 사전 훈련된 모델 간의 차이를 계산하여 저차원 부분 공간 내 작업 벡터의 신경 파라미터를 탐색함으로써 효율적인 가지치기를 수행합니다. 이를 통해 지식 전이 향상, 모델 병합을 통한 효과적인 지식 융합, 그리고 저장 비용 감소와 성능 유지를 동시에 달성하는 압축 모델 배포가 가능해집니다. 비전, NLP, 멀티모달 벤치마크에 대한 광범위한 실험을 통해 본 방법의 효과와 강건성을 검증하였으며, 코드는 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
파인튜닝된 모델의 성능 저하 및 중복성 문제를 효과적으로 해결하는 새로운 가지치기 방법 제시.
