본 논문은 대규모 언어 모델(LLM)에 대한 안전한 추론을 위한 새로운 비상호 작용 프레임워크인 ENSI를 제안합니다. ENSI는 암호화 프로토콜과 LLM 아키텍처의 공동 설계 원칙에 기반하여, CKKS 방식과 경량 LLM 변형인 BitNet을 통합하여 암호화된 행렬 곱셈의 계산 복잡성을 크게 줄입니다. 또한 동형 암호화(HE) 하에서 softmax의 과도한 계산 요구사항에 대응하여, 재훈련이 필요 없는 대안으로 sigmoid 어텐션 메커니즘과 HE의 통합을 제시합니다. 더 나아가, 부트스트래핑 연산을 RMSNorm 프로세스에 통합하여 암호문을 효율적으로 새로 고치면서 비용이 많이 드는 부트스트래핑 호출 빈도를 크게 줄입니다. 실험 결과, ENSI는 최첨단 방법에 비해 CPU에서 행렬 곱셈 속도가 약 8배, softmax 추론 속도가 2.6배 향상되었으며, 부트스트래핑 비율은 1%로 감소했습니다.
