DM-Adapter: Domain-Aware Mixture-of-Adapters for Text-Based Person Retrieval
Created by
- Haebom
Category
Empty
저자
Yating Liu, Zimo Liu, Xiangyuan Lan, Wenming Yang, Yaowei Li, Qingmin Liao
개요
본 논문은 텍스트 기반 인물 검색(TPR)에서 효율성과 성능을 향상시키는 새로운 방법인 Domain-Aware Mixture-of-Adapters (DM-Adapter)를 제안합니다. 기존의 전체 모델 미세조정 방식의 높은 계산 비용과 과적합 문제, 그리고 기존의 매개변수 효율적인 전이 학습(PETL)의 세밀한 특징 추출 부족 문제를 해결하기 위해, DM-Adapter는 Mixture-of-Experts (MOE)와 PETL을 통합합니다. DM-Adapter는 비전 및 언어 분기의 MLP 계층에 병렬적으로 Sparse Mixture-of-Adapters를 설계하여 각 전문가가 인물 지식의 특정 측면에 특화되도록 함으로써 보다 세밀한 특징 처리를 가능하게 합니다. 또한, 새로운 게이팅 함수를 구축하고 학습 가능한 도메인 인식 프롬프트를 주입하여 도메인 정보를 효과적으로 활용하고 라우팅 불균형을 완화하는 Domain-Aware Router를 개발했습니다. 실험 결과, DM-Adapter는 기존 방법보다 성능이 크게 향상되어 최첨단 성능을 달성했습니다.
시사점, 한계점
•
시사점:
◦
텍스트 기반 인물 검색(TPR)에서 효율성과 성능을 동시에 개선하는 새로운 방법 제시.
◦
Mixture-of-Experts (MOE)와 Parameter-efficient Transfer Learning (PETL)을 효과적으로 결합하여 세밀한 특징 추출 및 계산 비용 절감.
◦
Domain-Aware Router를 통해 도메인 정보 활용 및 라우팅 불균형 문제 해결.
◦
최첨단 성능 달성.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요.
◦
다양한 데이터셋 및 도메인에 대한 실험 결과 추가 필요.
◦
Domain-Aware Router의 설계 및 작동 원리에 대한 더 자세한 설명 필요.
