LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis
Created by
- Haebom
Category
Empty
저자
Qingyue Zhang, Chang Chu, Tianren Peng, Qi Li, Xiangyang Luo, Zhihao Jiang, Shao-Lun Huang
개요
LLM의 PEFT에서 LoRA가 널리 사용되면서 LoRA 초기화 방법에 대한 관심이 높아지고 있다. 기존 방법들은 대상 도메인 데이터를 통합하지 않거나, 1단계 기울기 분해에 의존하여 얕은 수준에서 데이터를 활용하며, 이론적 기반이 부족하거나 제한적인 등방성 가정을 사용하는 한계가 있다. 본 논문에서는 점근적 분석에 기반한 데이터 인지 LoRA 초기화에 대한 이론적 프레임워크를 구축한다. 목표 모델과 미세 조정된 모델 간의 매개변수 불일치 기댓값을 최소화하는 일반적인 최적화 목표에서 시작하여, 이방성을 보존하기 위해 Fisher-gradient 공식을 사용하여 근사화된 바이어스 항과 Fisher 정보를 통해 확률적 샘플링으로 인한 불확실성을 고려하는 분산 항으로 구성된 최적화 문제를 유도한다. 이 문제를 해결하여 LoRA에 대한 최적의 초기화 전략을 얻는다. 이를 바탕으로, 소규모의 대상 도메인 샘플 세트에서 최적화 문제의 항을 추정하고 최적의 LoRA 초기화를 얻는 효율적인 알고리즘 LoRA-DA를 개발한다. 여러 벤치마크에 대한 실험 결과는 LoRA-DA가 기존 초기화 방법보다 최종 정확도를 일관되게 향상시킴을 보여준다. 추가 연구를 통해 LoRA-DA는 더 빠르고 안정적인 수렴, 랭크 전반에 걸친 견고성, 그리고 작은 초기화 오버헤드를 보여준다.
시사점, 한계점
•
데이터 인지 LoRA 초기화를 위한 새로운 이론적 프레임워크 제시
•
LoRA-DA 알고리즘 개발 및 기존 초기화 방법 대비 성능 향상 입증
•
빠르고 안정적인 수렴, 랭크에 대한 견고성 및 작은 초기화 오버헤드 확인
•
소스 코드는 출판 시 공개 예정
