본 논문은 대규모 언어 모델의 저랭크 적응(low-rank adaptation) 방법, 특히 LoRA와 FLoRA에 초점을 맞춰 데이터 프라이버시 측면에서 분석합니다. 저랭크 적응 과정에서 어댑터 매개변수에 대한 배치 기울기(batch gradients)에 랜덤 노이즈가 주입되는 현상을 이론적으로 증명하고, 그 노이즈의 분산을 정량화합니다. 더 나아가, Berry-Esseen 정리를 이용하여 주입된 노이즈의 분포와 가우시안 분포 간의 차이를 경계짓고, Johnson-Lindenstrauss Lemma를 이용하여 기울기 스케일링(gradient scaling)이 추가된 저랭크 적응이 고정된 노이즈 스케일을 갖는 DPSGD 알고리즘과 유사함을 보입니다. 결론적으로 저랭크 적응이 공간 및 계산 복잡도 감소뿐만 아니라, DPSGD의 높은 공간 복잡도 없이 데이터 프라이버시를 암시적으로 제공함을 이론적 및 실험적 결과를 통해 제시합니다.
