본 논문은 대규모 모델의 환경적 영향과 접근성 문제를 해결하기 위해 경량화된 파인튜닝 방법인 EigenLoRAx를 제안합니다. 기존의 사전 훈련된 Low-Rank Adapters (LoRA)를 활용하여 공통 도메인 지식과 정렬된 주성분 공간을 생성하고, 자원이 부족한 경우 직교 기저 벡터로 보강합니다. 이를 통해 주성분에 대한 경량 계수만 학습하여 새로운 작업에 대한 빠른 적응을 가능하게 하며, 전체 어댑터를 파인튜닝할 필요성을 제거합니다. EigenLoRAx는 파라미터와 메모리 사용량이 현저히 적어 훈련 및 추론 효율을 향상시키고, 다양한 도메인과 작업에서 강력한 성능을 보여줍니다. 이는 에지 기반 애플리케이션, 개인화 및 자원 제약 환경에서의 대규모 모델의 공평한 배포를 위한 확장 가능한 솔루션을 제공합니다.
