Each Rank Could be an Expert: Single-Ranked Mixture of Experts LoRA for Multi-Task Learning
Created by
Haebom
저자
Ziyu Zhao, Yixiao Zhou, Zhi Zhang, Didi Zhu, Tao Shen, Zexi Li, Jinluan Yang, Xuwu Wang, Jing Su, Kun Kuang, Zhongyu Wei, Fei Wu, Yu Cheng
개요
본 논문은 저랭크 적응(LoRA)을 다중 작업 시나리오에 적용하는 문제를 다룬다. 기존 LoRA는 다중 작업에서 작업 간 충돌 문제를 겪는데, 이를 해결하기 위해 여러 LoRA 모듈을 전문가로 취급하는 전문가 혼합(MoE) 방식이 제시되었다. 하지만 이러한 방법은 각 작업의 지식을 고립시켜 관련 작업 간 공유 지식을 충분히 활용하지 못한다는 한계가 있다. 본 논문에서는 단일 LoRA와 다중 LoRA MoE 간의 관계를 규명하고 이를 통합하는 프레임워크를 제시한다. 다중 LoRA의 동적 라우팅이 단일 LoRA 내 순위 분할 및 블록 수준 활성화와 기능적으로 동등함을 보이고, 동일한 총 활성화 매개변수 제약 조건 내에서 더 세분화된 LoRA 분할이 이질적인 작업에서 더 나은 성능 향상을 가져온다는 것을 실험적으로 증명한다. 이러한 결과를 바탕으로, 각 순위를 독립적인 전문가로 취급하여 MoE를 LoRA에 통합하는 단일 순위 전문가 혼합 LoRA(SMoRA)를 제안한다. 동적 순위별 활성화 메커니즘을 통해 SMoRA는 더 세분화된 지식 공유를 촉진하면서 작업 간 충돌을 완화한다. 실험 결과, SMoRA는 더 적은 매개변수를 활성화하면서 다중 작업 시나리오에서 더 나은 성능을 달성함을 보여준다.
시사점, 한계점
•
시사점:
◦
단일 LoRA와 다중 LoRA MoE 간의 관계를 규명하고 이를 통합하는 새로운 프레임워크를 제시하였다.
◦
세분화된 LoRA 분할을 통해 다중 작업 시나리오에서 성능 향상을 달성할 수 있음을 보였다.
◦
SMoRA를 통해 적은 매개변수로 다중 작업에서 효율적인 성능 향상을 이룰 수 있음을 실험적으로 증명하였다.
◦
다중 작업 학습에서의 효율성과 성능을 향상시키는 새로운 방법을 제시하여, 대규모 언어 모델의 실용성을 높였다.
•
한계점:
◦
제안된 SMoRA의 성능 향상이 모든 다중 작업 시나리오에서 일관되게 나타날지는 추가적인 연구가 필요하다.
◦
SMoRA의 동적 순위별 활성화 메커니즘의 복잡성이 실제 구현 및 적용에 어려움을 야기할 수 있다.
