본 논문은 기존의 Parameter-Efficient Fine-Tuning (PEFT) 알고리즘의 한계점을 해결하기 위해 Partial Connection Adaptation (PaCA)을 제안합니다. 기존 PEFT 알고리즘은 어댑터 파라미터만 학습하여 메모리 사용량과 계산 비용을 줄이지만, 어댑터 계층과 사전 학습된 계층의 순차적 처리로 인한 지연 오버헤드 때문에 학습 시간 단축에는 효과적이지 못했습니다. PaCA는 어댑터 계층을 추가하는 대신 사전 학습된 가중치 내의 무작위로 선택된 부분 연결을 미세 조정하여 이 문제를 해결합니다. 이를 통해 어댑터와 사전 학습된 계층의 순차적 처리로 인한 시간 오버헤드를 제거하고, 부분 활성화만 저장하면 되므로 활성화 메모리도 줄일 수 있습니다. 실험 결과, PaCA는 LoRA에 비해 학습 시간을 22%, 메모리 사용량을 16% 줄이면서 유사한 정확도를 유지했습니다. 또한 양자화와 결합하여 LLaMA3.1-70B와 같은 대규모 모델의 미세 조정을 가능하게 하며, 더 긴 시퀀스로 학습이 가능하고 처리량도 향상시켰습니다.
