본 논문은 대규모 언어 모델(LLM)을 작업별 소규모 언어 모델(SLM)로 압축하는 과정에서 발생하는 두 가지 주요 과제인 도메인별 지식 프라이버시 보호와 제한된 자원 관리를 해결하기 위해 제안된 PPC-GPT 프레임워크를 제시한다. PPC-GPT는 연합 학습 환경에서 프라이버시 보호와 모델 압축을 체계적으로 해결하는 통합 프레임워크로, 서버-클라이언트 연합 아키텍처를 기반으로 한다. 클라이언트는 차등적 프라이버시(DP)를 적용한 작업별 데이터를 서버의 LLM에 전송하고, LLM은 합성 데이터와 해당 근거를 생성한다. 이 합성 데이터는 LLM 가지치기 및 재학습에 사용된다. PPC-GPT는 프라이버시 보호 메커니즘, 합성 데이터 생성, 작업별 압축 기술을 통합하여 경쟁력 있는 성능을 유지하면서 강력한 프라이버시 보호를 제공한다.
