Mixture-of-Subspaces in Low-Rank Adaptation
Created by
- Haebom
Category
Empty
저자
Taiqiang Wu, Jiahao Wang, Zhe Zhao, Ngai Wong
개요
본 논문은 계산 효율적이고 구현이 용이하며 대규모 언어 모델, 다중 모달 모델, 확산 모델에 쉽게 적용 가능한 부분 공간 기반 저랭크 적응(LoRA) 방법인 MoSLoRA를 제안합니다. LoRA의 가중치를 두 개의 부분 공간으로 분해하고, 이를 단순히 혼합하는 것만으로도 성능 향상을 얻을 수 있음을 보입니다. 이 현상을 미세한 부분 공간 관점에서 재검토하여, 이러한 수정이 고정된 믹서를 사용하여 부분 공간을 융합하는 것과 동일함을 보입니다. 더욱 유연성을 위해, 원래 LoRA 가중치와 함께 믹서를 공동으로 학습하며, 이 방법을 Mixture-of-Subspaces LoRA (MoSLoRA)라고 합니다. MoSLoRA는 상식 추론, 시각적 지시 조정, 주제 중심 텍스트-이미지 생성 등 다양한 모달리티의 작업에서 LoRA를 능가하는 성능을 보이며, 효과성과 강건성을 입증합니다. 코드는 https://github.com/wutaiqiang/MoSLoRA 에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
LoRA의 성능을 향상시키는 새로운 방법인 MoSLoRA 제시.
◦
다양한 모달리티(언어, 시각, 다중 모달)에서 효과적으로 작동.
◦
계산 효율적이고 구현이 간편하여 실용성이 높음.
◦
공개된 코드를 통해 재현성 확보.
•
한계점:
◦
MoSLoRA의 성능 향상이 모든 작업 및 모델에 대해 보장되는 것은 아님.
◦
믹서의 설계 및 학습 과정에 대한 추가적인 분석 필요.
◦
다른 저랭크 적응 방법들과의 더욱 포괄적인 비교 분석 필요.
