본 논문은 사전 훈련된 대규모 언어 모델의 파라미터 효율적인 미세 조정을 위한 새로운 방법인 LoR2C(Low-Rank Residual Connection Adaptation)를 제안합니다. LoR2C는 모델 레이어 내에 저랭크 행렬을 사용한 잔차 연결을 도입하여 미세 조정할 파라미터 수를 줄이고 기울기 소멸 문제를 완화합니다. 또한, 파라미터 공유, 모듈 병합, 주입 메커니즘을 통해 파라미터 효율성과 모델 성능을 더욱 향상시키는 세 가지 LoR2C의 최적화 변형(ShareLoR2C, MergeLoR2C, InjectLoR2C)을 제시합니다. 다양한 자연어 이해 및 생성 작업에 대한 실험 결과를 통해 LoR2C 및 그 변형들이 기존의 파라미터 효율적인 미세 조정 방법보다 우수한 성능을 유지하거나 향상시키면서 파라미터 오버헤드를 크게 줄임을 보여줍니다. 소스 코드는 공개적으로 제공됩니다.
