A Middle Path for On-Premises LLM Deployment: Preserving Privacy Without Sacrificing Model Confidentiality
Created by
Haebom
저자
Hanbo Huang, Yihan Li, Bowen Jiang, Bo Jiang, Lin Liu, Ruoyu Sun, Zhuotao Liu, Shiyu Liang
개요
본 논문은 개인 정보 보호에 민감한 사용자들이 대규모 언어 모델(LLM)을 자체 인프라(온-프레미스)에서 배포할 때 발생하는 보안 취약점을 해결하기 위해 제안된 SOLID 프레임워크에 대해 다룹니다. 논문은 쿼리 기반 증류 공격을 통해 보호된 레이어를 타겟팅하는 방법, 하위 레이어 보안의 중요성, 그리고 보호와 사용자 지정 간의 trade-off를 분석합니다. SOLID는 이러한 분석을 바탕으로 하위 레이어를 보안 환경에 안전하게 배치하고, 이상적인 은닉 레이어 수를 결정하여 trade-off를 최적화하는 효율적인 메트릭을 제시합니다. 5개의 모델(1.3B ~ 70B 파라미터)에 대한 실험을 통해 SOLID가 기존 방법론보다 보호와 사용자 지정 간의 균형을 더 잘 달성함을 입증했습니다.
시사점, 한계점
•
시사점:
◦
쿼리 기반 증류 공격을 통해 보호된 레이어의 모델 복제가 가능하다는 점을 발견.
◦
하위 레이어 보안이 상위 레이어 보안보다 증류 공격에 더 강력한 방어를 제공하며, 사용자 지정 성능에 미치는 영향은 유사하다는 것을 확인.
◦
보안 레이어 수와 사용자 지정 유연성 사이의 trade-off를 파악하고, 이를 최적화하는 메트릭을 제시.
◦
SOLID 프레임워크를 통해 모델 보안과 사용자 지정의 균형을 개선.
•
한계점:
◦
특정 공격 유형(쿼리 기반 증류 공격)에 초점을 맞춘 보안 솔루션으로, 다른 유형의 공격에 대한 방어 능력은 추가 연구가 필요할 수 있음.
