AdaRank: Adaptive Rank Pruning for Enhanced Model Merging
Created by
Haebom
저자
Chanhyuk Lee, Jiho Choi, Chanryeol Lee, Donggyun Kim, Seunghoon Hong
개요
본 논문은 다중 작업 학습에서 계산 효율성을 크게 향상시키는 통합 프레임워크로 독립적으로 미세 조정된 모델을 통합하는 유망한 접근 방식인 모델 병합에 대해 다룹니다. 기존 SVD 기반 기법들의 수동적인 랭크 선택에 따른 과제 간 간섭 및 최적이 아닌 성능 문제점을 지적하며, 본 논문에서는 과제 벡터의 가장 유익한 특이 방향을 적응적으로 선택하여 여러 모델을 병합하는 새로운 모델 병합 프레임워크인 AdaRank를 제안합니다. AdaRank는 테스트 시간 동안 엔트로피 최소화를 통해 랭크를 선택적으로 제거함으로써 과제 간의 해로운 중복을 완화하고 각 과제 벡터에 최적의 정보량을 제공합니다.
시사점, 한계점
•
시사점:
◦
AdaRank는 기존 SVD 기반 모델 병합 기법의 한계를 극복하고 다양한 백본 및 과제 수에서 최첨단 성능을 달성합니다.
◦
과제 벡터의 주요 특이 성분이 다른 과제에 심각한 간섭을 일으킬 수 있음을 보여주고, AdaRank는 이러한 간섭을 완화하는 효과적인 방법을 제시합니다.
◦
미세 조정된 모델 간의 성능 차이를 1% 미만으로 줄이는 성능 향상을 보입니다.
◦
테스트 시간에 랭크를 동적으로 제거하는 적응적 랭크 선택 기법을 통해 최적의 정보량을 각 과제 벡터에 제공합니다.
•
한계점:
◦
AdaRank의 엔트로피 최소화 기반 랭크 선택 과정에 대한 자세한 설명이나 분석이 부족할 수 있습니다.
◦
다양한 작업 유형이나 데이터셋에 대한 일반화 성능에 대한 추가적인 실험 및 분석이 필요할 수 있습니다.
