Initialization using Update Approximation is a Silver Bullet for Extremely Efficient Low-Rank Fine-Tuning
Created by
Haebom
저자
Kaustubh Ponkshe, Raghav Singhal, Eduard Gorbunov, Alexey Tumanov, Samuel Horvath, Praneeth Vepakomma
개요
본 논문은 대규모 언어 모델(LLM)의 효율적인 미세 조정을 위해 저랭크 어댑터(Low-rank adapters)를 사용하는 기존 방법의 한계를 극복하고자, LoRA Silver Bullet (LoRA-SB)라는 새로운 방법을 제안합니다. LoRA-SB는 신중하게 설계된 초기화 전략을 사용하여 저랭크 부분 공간 내에서 완전 미세 조정을 근사합니다. 특히, LoRA-XS 아키텍처의 구조를 활용하여 고랭크 기울기 업데이트에 대한 최적의 스케일링을 달성하고 하이퍼파라미터 튜닝의 필요성을 제거합니다. 이론적으로 LoRA-XS의 아키텍처가 이러한 근사에 필요한 정확한 조건을 제공함을 증명하고, 제안된 초기화가 초기 기울기의 최적 저랭크 근사를 제공하고 훈련 전반에 걸쳐 업데이트 방향을 보존함을 증명합니다. 수학적 추론, 상식 추론 및 언어 이해 작업에 대한 광범위한 실험을 통해 LoRA-SB가 기존 LoRA보다 성능이 우수하며, 학습 가능한 매개변수 수는 27~90배 적게 사용함을 보여줍니다. 또한 LoRA-XS보다도 성능이 훨씬 뛰어납니다. 본 연구는 저랭크 부분 공간에서 완전 미세 조정을 시뮬레이션하고 성능 저하 없이 상당한 효율성 향상을 달성할 수 있음을 입증합니다. 코드는 https://github.com/RaghavSinghal10/lora-sb 에서 공개적으로 이용 가능합니다.
