본 논문은 차등적 프라이버시를 보장하는 전체 미세 조정(DP-FFT)이 사전 훈련된 백본 특징을 왜곡시킬 수 있음을 이론적 및 경험적으로 밝힙니다. 이러한 왜곡의 원인을 사전 훈련된 백본과 무작위로 초기화된 선형 헤드 간의 불일치로 규명합니다. 이 문제를 해결하기 위해, 선형 프로빙 후 미세 조정(DP-LP-FFT)이라는 순차적 미세 조정 전략을 제안합니다. 새로운 근사 기법을 통해 ReLU 활성화를 사용하는 2층 신경망의 간단한 설정에서 DP-LP 및 DP-FFT의 훈련 손실에 대한 근사 상한 및 하한을 도출합니다. 실제 데이터 세트 및 아키텍처에 대한 실험 결과는 이론적 통찰력과 일치합니다. 또한, 근사 없이 2층 선형 네트워크에 대한 새로운 상한을 도출하고, DP-LP-FFT와 같은 다단계 미세 조정 방법에서 프라이버시 예산 할당의 트레이드오프를 제시합니다.