Low-Rank Adaptation (LoRA)는 대규모 언어 모델(LLM)을 위한 널리 사용되는 파라미터 효율적인 미세 조정(PEFT) 방법이지만, 여전히 상당한 오버헤드가 발생하고 복잡한 데이터 세트에서 파라미터 간섭의 문제를 겪습니다. EffiLoRA는 inter-matrix 및 intra-layer 파라미터 중복성을 고려하여 제안된 경량화된 일반화 가능한 접근 방식입니다. EffiLoRA는 모든 transformer 레이어에서 통일된 A 행렬을 사용하고 런타임 선택적 B 행렬 업데이트를 도입하여 시스템 자원 예산과 모델 성능 간의 동적 트레이드 오프를 수행합니다. EffiLoRA는 상식 추론, 시각적 지침 튜닝 및 이미지 생성을 포함한 다양한 모달리티에서 LoRA보다 일관되게 우수한 성능을 보여줍니다.
