Nonlinearity as Rank: Generative Low-Rank Adapter with Radial Basis Functions

Created by

Haebom

저자

Yihao Ouyang, Shiwei Li, Haozhao Wang, Xiandi Luo, Zhuoqi Hu, Yuetong Song, Qiyu Qin, Yichen Li, Ruixuan Li

💡 개요

본 논문은 기존 Low-rank Adaptation (LoRA) 방식이 모델 용량 증대를 위해 파라미터 수를 직접적으로 늘리는 문제점을 지적하며, 이를 해결하기 위해 비선형 함수를 활용하여 저계수 행렬의 기저 벡터를 생성하는 Generative Low-Rank Adapter (GenLoRA)를 제안합니다. GenLoRA는 각 저계수 행렬에 대한 잠재 벡터와 가벼운 방사형 기저 함수 (RBF)를 사용하여 기저 벡터를 합성함으로써, 훨씬 적은 파라미터로 더 높은 유효 계수를 달성합니다. 다양한 실험을 통해 GenLoRA가 파라미터 효율성을 높이고 미세 조정 성능을 향상시킴을 입증했습니다.

🔑 시사점 및 한계

•

기존 LoRA의 파라미터 증가 문제를 해결하는 새로운 접근 방식 제시

•

비선형 함수 (RBF)를 통해 파라미터 효율성을 극적으로 향상시킬 수 있음을 보여줌

•

다양한 데이터셋 및 아키텍처에서 우수한 성능을 입증하며 일반화 가능성을 시사

•

GenLoRA의 성능을 더욱 최적화하기 위한 RBF의 종류 및 구조에 대한 추가적인 연구 필요

PDF 보기

Made with Slashpage