본 논문은 기존의 파라미터 효율적인 미세 조정(PEFT) 방법인 LoRA와 PiSSA의 한계를 극복하기 위해 High-rank Distributed PiSSA (HD-PiSSA)를 제안합니다. 기존 방법들은 저랭크 부분 공간에 모델 업데이트를 제한하여 복잡한 작업에서 성능이 저하되는 문제가 있었습니다. HD-PiSSA는 각 기기에 직교 어댑터를 초기화하고 미세 조정을 위해 W에 대한 델타 업데이트를 집계하는 분산 PEFT 접근 방식입니다. 데이터 병렬 LoRA 또는 PiSSA와 달리, HD-PiSSA는 각 GPU에 사전 훈련된 가중치의 서로 다른 주성분을 할당하여 업데이트 방향의 범위를 크게 확장합니다. 8개의 GPU로 미세 조정할 때 동일한 장치당 어댑터 계급에서 16배 이상의 효과적인 업데이트 계급을 달성합니다. 수학, 코드 생성, 다중 작업 학습 등 다양한 과제에 대한 실험 결과, 다중 작업 설정에서 HD-PiSSA는 12개의 벤치마크에서 LoRA보다 평균 10.0점(14.63%), PiSSA보다 4.98점(6.60%) 향상된 성능을 보였습니다.
