본 논문은 클라우드 기반 대규모 언어 모델(LLM) 추론 서비스의 개인정보 유출 위험에 대한 우려를 해결하기 위해, Secure Multi-party Computation (MPC) 기반의 효율적인 개인정보 보호 추론 시스템 Comet을 제안한다. Comet은 LLM의 활성화 함수 출력에서 나타나는 활성화 스파스성을 활용하여, 빠르고 정확한 예측기를 통해 스파스 분포를 예측하고, 0값 연산을 효율적으로 회피하는 새로운 개인정보 보호 추론 프로토콜을 제시한다. 스파스 분포 예측으로 인한 KV 캐시 항목의 시공간적 연속성 저하 문제는 통신 오버헤드가 낮은 캐시 재채움 전략(miss 요청 병합 및 프리페칭 포함)으로 해결한다. 실험 결과, Comet은 기존 6개의 최첨단 개인정보 보호 추론 시스템에 비해 1.87x2.63x의 속도 향상과 1.94x2.64x의 통신량 감소를 달성했다.
시사점, 한계점
•
시사점:
◦
LLM의 활성화 스파스성을 활용하여 MPC 기반 개인정보 보호 추론의 효율성을 크게 향상시킬 수 있음을 보여줌.
◦
새로운 개인정보 보호 추론 프로토콜과 캐시 재채움 전략을 통해 통신 오버헤드를 효과적으로 줄임.
