본 논문은 기존의 파라미터 효율적인 미세 조정(PEFT) 방법인 LoRA와 PiSSA의 한계를 극복하기 위해 High-rank Distributed PiSSA (HD-PiSSA)를 제안합니다. LoRA와 PiSSA는 모델 업데이트를 저랭크 부분공간으로 제한하여 복잡한 작업에서 최적의 성능을 발휘하지 못하는데, HD-PiSSA는 여러 장치에 걸쳐 직교 어댑터를 초기화하고 미세 조정을 위해 W에 대한 델타 업데이트를 집계하여 이 문제를 해결합니다. 데이터 병렬 LoRA나 PiSSA와 달리 각 GPU에 사전 훈련된 가중치의 서로 다른 주성분을 할당하여 업데이트 방향의 범위를 크게 확장합니다. 8개의 GPU를 사용하여 미세 조정할 때, 동일한 장치당 어댑터 랭크로 LoRA나 PiSSA보다 16배 이상 높은 유효 업데이트 랭크를 달성합니다. 수학, 코드 생성, 다중 작업 학습 등 다양한 복잡한 다운스트림 작업에서 HD-PiSSA를 평가했으며, 다중 작업 설정에서 12개의 벤치마크에 걸쳐 LoRA보다 10.0점(14.63%), PiSSA보다 4.98점(6.60%)의 평균 성능 향상을 보였습니다.
