사용자들이 개인적이고 감정적이며 사회적으로 민감한 대화를 위해 대규모 언어 모델(LLM)에 의존하는 경향이 증가하고 있지만, 클라우드 호스팅 모델에 전송되는 프롬프트에는 사용자가 기록, 보존 또는 유출을 원하지 않는 개인 식별 정보(PII)가 포함될 수 있다. 본 논문에서는 프롬프트를 LLM에 보내기 전에 수정하는 최선의 노력을 기울이는 개인 정보 보호 계층인 Whistledown을 제시한다. Whistledown은 가명화 및 $\epsilon$-로컬 차등 프라이버시 ($\epsilon$-LDP)를 변환 캐싱과 결합하여 대화 유틸리티를 저해하지 않으면서 최선의 개인 정보 보호를 제공한다. Whistledown은 낮은 컴퓨팅 및 메모리 오버헤드를 갖도록 설계되어 개별 사용자의 경우 클라이언트 장치에서 직접 배포할 수 있다. 기업 사용자의 경우 Whistledown은 기업의 신뢰할 수 있는 인프라에서 실행되는 제로 트러스트 게이트웨이 내에서 중앙 집중식으로 배포된다. Whistledown은 인기 있는 LLM 제공업체의 기존 API를 변경할 필요가 없다.
