본 논문은 비전 기반 모델(VFMs)의 특징 중복성 문제를 해결하기 위해 매개변수가 없는 새로운 미세 조정 방법을 제안합니다. Segment Anything Model (SAM)을 대상으로, 모델 출력 차이를 기반으로 채널 선택 알고리즘을 통해 중복된 채널을 식별하고, 효과적인 채널로 대체하여 과도한 특징을 제거하고 하위 작업에 더 관련성이 높은 특징을 재사용함으로써 작업 특정 특징 표현을 향상시킵니다. 기존 미세 조정 방법과 달리 매개변수를 조정하는 대신, 사전 훈련된 특징의 선택, 재사용 및 향상에 중점을 둡니다. 실험 결과, 도메인 내 및 도메인 외 데이터셋 모두에서 효율성과 효과성을 입증하였으며, 기존 미세 조정 전략(예: LoRA, Adapter)과의 원활한 통합을 통해 성능 향상을 보였습니다. 또한, 채널 선택 과정에 모델 추론만 포함되어 계산 및 GPU 메모리 오버헤드가 크게 감소합니다.
