Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

Created by
  • Haebom
Category
Empty

저자

Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

DP-Fusion: Differentially Private Inference for Large Language Models

개요

본 논문은 대규모 언어 모델(LLM)이 추론 시 개인 정보를 보존하지 못하는 문제를 해결하기 위해, 차등적 프라이버시(Differentially Private, DP)를 활용한 추론 메커니즘인 DP-Fusion을 제안합니다. DP-Fusion은 민감 정보가 포함된 도구나 데이터베이스로 증강된 LLM의 출력이 맥락 정보를 의도치 않게 노출하는 문제를 해결하고자 합니다. 제안하는 방법은 민감 토큰을 식별하고, 민감 토큰 없이 LLM을 추론하여 기준선을 생성한 후, 민감 토큰을 포함하여 추론하고, 최종 출력이 기준선 분포로부터 제한된 거리 내에 있도록 분포를 혼합하는 방식으로 작동합니다. DP-Fusion은 토큰 수준의 영향력 범위를 보장하며, 특히 개인 식별 정보(PII)와 같은 민감 토큰을 포함하는 문서를 패러프레이징하여 높은 텍스트 품질을 유지하면서 정보 유출을 방지하는 문서 프라이버시화에 초점을 맞춥니다. 프라이버시/유틸리티 트레이드오프는 엡실론($\epsilon$) 값으로 제어되며, $\epsilon=0$은 민감 토큰을 완전히 숨기고, 높은 값은 텍스트 품질을 위해 프라이버시를 희생합니다. DP-Fusion은 관련 DPI 방식보다 6배 낮은 혼란도(perplexity)를 달성하여 이론적 및 경험적 프라이버시를 상당히 향상시켰습니다.

시사점, 한계점

•
시사점:
◦
LLM 추론 시 개인 정보 보호 문제를 해결하기 위한 새로운 DP 기반 접근 방식 제시.
◦
토큰 수준의 영향력 범위를 보장하는 프라이버시 메커니즘 설계.
◦
문서 프라이버시화에 초점을 맞춰 실용적인 활용 가능성 제시.
◦
기존 DPI 방법 대비 향상된 성능 (6배 낮은 혼란도).
◦
$\epsilon$ 값을 통해 프라이버시와 유틸리티 간의 유연한 조절 가능.
•
한계점:
◦
Jailbreak 스타일의 프롬프트 주입 방어에 대한 언급은 있지만, 본 논문에서는 문서 프라이버시화에 집중하여, 해당 문제에 대한 구체적인 연구는 부족할 수 있음.
◦
$\epsilon$ 값에 따른 최적의 프라이버시/유틸리티 균형에 대한 추가 연구 필요.
◦
실제 환경에서의 성능 검증 및 다양한 유형의 민감 정보에 대한 적용성 평가 필요.
◦
모델의 복잡성 및 계산 비용에 대한 분석 부족.
👍
Made with Slashpage